情報処理学会研究報告

Vol.2016-MUS-112 No.22
2016/8/1

IPSJ SIG Technical Report

音型の反復と変形に基づく階層ベイズ音楽言語モデルとMIDI 演奏のリズム採譜への応用
中村 栄太1,a)

糸山 克寿1

吉井 和佳1

概要：本稿では，音型の反復構造を記述するベイジアン音楽言語モデルに基づくリズム採譜（即ち，MIDI
演奏信号からの音価の自動認識）の手法について論ずる．自動採譜では従来，多数の楽譜データからの統計学習により構成した，音楽の一般的特徴を表す言語モデルが用いられてきた．一方で，多くの楽曲は反復構造を持ち，限られた音型から成っているため，楽曲ごとに個別の文法が学習できれば，より精密な言語モデルが得られると考えられる．ここで問題となるのは，演奏から間接的に得られる楽譜に対してその文法をどのように学習するかと，変形を含む音型の反復をどう扱うかである．本稿では，楽曲ごとに個別の言語モデルの生成を記述するディリクレ過程と変形を含む音型の組み合わせによる音符の生成過程を記述する階層 HMM（隠れマルコフモデル）を結合した階層ベイズモデルを提案する．このモデルに基づき，
演奏信号から楽譜とその背後にある楽曲ごとに個別の言語モデルを同時に推定するための推論アルゴリズ
ムを導出する．提案モデルにより従来の HMM よりもリズム採譜の精度が向上することを確認した．

一般的音楽モデル（基底測度）

音楽音響信号から音高とリズムの情報を抽出する（自動）
採譜は，音楽情報処理における根本的問題の一つである．
関する研究が多く行われてきた [1, 2]．一方で，音符の音価（即ち楽譜で記述される音の長さ）を認識する，リズム採譜に関する研究もされている [3–8]．これらの研究で，採譜には楽譜に関する事前知識を用いるのが重要であると分かっ

ディリクレ過程

これまで音高情報を抽出するために楽器音の音響モデルにてきており，この事前知識を表現する音楽言語モデルを構

データにより学習することで，音楽の一般的特徴を表す言語モデル（一般的音楽モデルと呼ぶ）が構成されてきた．
多くの楽曲は反復構造を持つため [12–15]，個々の楽曲は音楽的に可能な音型（あるいは音符パターン）の中から選ばれた，限られたもので構成されている．この様に楽曲ごとに個別の「コンパクトな」文法を学習できれば，一般的音楽モデルより精密な言語モデルが得られると考えられる．反復構造が予め与えられれば個々の楽曲の文法は音型に基づく音符列の生成モデル [6, 8] を用いて学習できる．
1

a)

京都大学
606-8501 京都府京都市左京区吉田本町
enakamura@sap.ist.i.kyoto-u.ac.jp

c 2016 Information Processing Society of Japan⃝

曲1のモデル

音型

& œ œ

反復

&

œ. œ œ

& œ.

& 42 œ œ œ œ œœ œœ œ œ

音型の変形 (音符挿入 & シンコペーション)

12 345

曲2のモデル (b)

楽譜
(曲1)

2
& 4 œ œ œ œ œ œ œœ œ œ œ œ œ
テンポ

譜データから音楽の特徴を統計学習するために，音声認識
いられている [5–7, 10, 11]．これにより従来，多数の楽譜

œ& œœ œ

12 345成するための機械学習手法が研究されてきた．中でも，楽でも用いられる [9] HMM（隠れマルコフモデル）が広く用& œ œœ
(a)

楽譜データ

学習

確率

1. はじめに(c)

図 1

MIDI演奏信号(sec)

提案モデルの概要図．提案モデルは音型の不完全反復による楽譜生成を記述する言語モデルと時間変動を含む音楽演奏生
成を記述する演奏モデルから成っている．

逆に，用いられている音型が分かれば，反復構造はより正確に推定できる．この鶏と卵の関係を解くためには，文法
学習と構造推定を同時に行う枠組みが必要である．
この文法学習と構造推定の相互関係は，自然言語処理の分野でも話題となっており，ベイズ学習に基づく手法が開発されている [16, 17]．例えば，単語の切り出しと語彙の同時学習手法 [18] は，音符と文字，音型と単語の対応を考えると，今の問題と類似している．また，最近では単語の変形の問題も注目されている [19, 20]．反復パターンの変形のモデルは，音楽で一般的に現れる不完全反復 [21] を捉え1

情報処理学会研究報告

Vol.2016-MUS-112 No.22
2016/8/1

IPSJ SIG Technical Report& 42 œ

るために必要である．
本稿では，演奏信号から楽譜とその背後にある個別の言

音型モデル(2.2節)

語モデルを同時学習するための階層ベイズモデルを提案する（図 1）．このモデルは，(a) 音型に基づく言語モデルの生成，(b) 言語モデルによる音符列の生成，(c) 音符列に基づく演奏信号の生成からなる，3 つの過程を階層的に記述する．(a) はいわば作曲者が楽曲で用いる音型を選択する過程をモデル化したもので，ディリクレ過程 [22] を用いて一般的音楽モデルから楽曲ごとの個別の言語モデルが生成される過程を記述する．(b) では，不完全反復を含む音符の生成を，音型の変形を記述する確率モデルにより表現する．演奏の生成過程は，楽譜・演奏マッチングの研究で従来用いられているテンポ変動のモデル [23, 24] により記述する．本稿では楽譜要素のうちリズムの側面のみ扱い，単旋律音楽に限定して議論することにする．
本研究の貢献は，ベイズモデルに基づくリズム採譜と背後にある文法・構造学習を同時に行う手法の開発と音型の不完全反復の取り扱いにある．音楽におけるベイジアン文法学習は，PCFG（確率的文脈自由文法）モデルに基づくものがあるが，変形を含まない音型を用いたもの [8] や音型を用いない音符単位の生成に関するもの [25, 26] に限られていた．自然言語処理分野でも，変形を含む文章に対する文法学習と単語の切り出しを同時に行う手法は提案されていない．提案モデルに基づくリズム採譜手法を評価し，従来の HMM より高精度でリズム採譜ができることを示す．

2. 関連研究

音符マルコフモデル(2.1節)
拍節マルコフモデル(2.3節)

図 2

œ
œ

œ œ

œ

œ œ œ
j j
œ œ œ

œ
œ
œ

従来研究における 3 種類の楽譜の表現方法 [5–8]．

できないものがあるという欠点がある．例えば，三連符は3 つ組あるいは 2 倍の三連符とのペアでのみ現れるという制約は，どれだけ高次のマルコフモデルを用いても表現できない．また拍節構造をモデルに組み込むこともできない．

2.2 音型モデル

クラシック音楽やポピュラー音楽などの多くの音楽

では，楽譜は拍節構造を持つため，これを表現するモデ
ルとして音型モデルが提案されている [6, 8]．音型マル
コフモデル [6] では，小節などの単位ごとの音型の集合
を状態空間として扱う．以下，音型の種類の数を K とし，各音型を Bk = zk,1 · · · zk,L (k = 1, . . . , K) と記す．
ここで，zk,ℓ (ℓ = 1, . . . , L) は音型 k の ℓ 番目の音符を表す．音型の系列 w1 · · · wI (wi ∈ {Bk }Kk=1 ) の確率は，遷移確率 πkk′ = P (wi = Bk′ |wi−1 = Bk ) と初期確率

πk0 = P (w1 = Bk ) の積で与えられる．

音符列（z1:M と記す）は生成された音型列 wi:I を結合することにより得られ，その確率は 2 層の階層マルコフモ
デル [27] により記述される．上の階層は音型，下の階層は

本節では，従来提案されてきた採譜のための統計モデルに基づく音楽言語モデルについてレビューする．これらのモデルは，提案モデルのベースになるもの，あるいは比較評価の対象となるものである．言語モデルの出力は音符列音符に対応している．各音符 zm は (k, ℓ) のペアにより表され，遷移確率は次で与えられる．
"#
P zm =(k ′ , ℓ′ )|zm−1 =(k, ℓ) = δℓL πkk′ δℓ′ 1 + δkk′ δℓ′ (ℓ+1) .

ここで，δ は Kronecker のデルタを表す．PCFG に基づく

x1:N = x1 · · · xN (N は音符数）である．（以降，時系列に同様のモデルも提案されている [8]．

対して同様の記法を用いる．
）本稿ではリズムの側面のみに音型モデルのもう一つの長所は，三連符の論理制約など注目しているので，xn は n 番目の音符の音価を表す．音を記述できることである．一方で，シンコペーションの取価は，楽譜に記される音長の全音符に対する相対的な値と扱いはこのモデルの問題点である．シンコペーションは，して定義する（例えば，四分音符は x = 1/4，付点二分音

小節線など音型の境界をまたぐ音符を含むため，音型モデ符は x = 3/4 など）．

ルでは簡単には記述できない．

2.1 音符マルコフモデル

2.3 拍節マルコフモデル（図 2）[6]．1 次のモデルでは，x1:N の確率は遷移確率の積内のビート位置で記述する，拍節（グリッド）マルコフモ

として次のように与えられる．

デルである [5, 7]．n 番目の音符のビート位置を sn で表し，音符列のマルコフモデルが初期の研究で提案されている

P (x1:N ) =

N
!

n=1

P (xn |xn−1 ).

(1)

ここで P (x1 |x0 ) ≡ P (x1 ) は初期確率を表すものとする．
同様に，P (xn |xn−1 ) を P (xn |xn−1 , . . . , xn−p+1 ) に代える
ことで p 次のマルコフモデルが定義できる．

この音符マルコフモデルには，音価列の論理制約に表現

c 2016 Information Processing Society of Japan⃝

拍節構造を表現できるもう一つのモデルは，音符を小節

小節の長さを G と記す．音符列の生成は，ビート位置のグ
リッド上のマルコフ過程により記述され，系列 s1:N +1 の確率は遷移確率 P (sn |sn−1 ) の積により式 (1) と同様に与えられる．n 番目の音符の音価は，⎧⎨sn+1 − sn ,(sn+1 > sn );xn =⎩G + sn+1 − sn , (sn+1 ≤ sn ),(2)2

情報処理学会研究報告

Vol.2016-MUS-112 No.22
2016/8/1

IPSJ SIG Technical Report

変形なしの
音型列

œ

œ

œ

œ

œ œœ œœœ œ œ œ

œ œ

& œ

œ œ

& œ

⊕ 音符挿入音符挿入を含む
音型列
変形を含む
音型列

œ

& œ

⊕ シンコペーション

図 3

r
œ

音型内の音符œœ

挿入パターン

œ

œ

添字

œ

œ

œ

œ œ œ œœ œ

œ œ
r
œ

図 4

音型の変形モデル．

œœ.

& œ œ œ œ

元々の拍節モデルでは，小節長までの音価しか記述していないが，より大きな音価を記述するようにモデルを拡張rs=− œ& œ œ œœ ˙
œ

˙

j
s= œ
j
& œ œ œ œ œ.
œ

Suspension

できる．このために，まず各音符 n に対して，離散変数

る．つまり，n 番目の音符の音価は xn = jn+1 G+sn+1 −snで与えられる．変数のペア (sn , jn ) を状態変数とすること
により，JG までの音価を記述するモデルを構成できる．
拍節モデルの長所は，シンコペーションが扱えることでœ œ

Anticipation

ビート位置を表すものとする．

番目のオンセット位置の間に何小節飛び越えるかを表現すœ

音符挿入による音型の変形の例．

で与えられ，sn+1 が sn よりも小さい場合は，次の小節の

jn = 0, 1, . . . , J−1 を導入し（J は正の整数），n−1 番目と nœ

図 5

シンコペーションによる音型の変形の例．

な挿入後の音符列の一つ（以下，挿入パターンと呼ぶ）を"#表し（図 4），確率 P Ch |zm = (k, ℓ) を φ(kℓ)h と記すことにする．音符列 z1:M 内の各音符 zm に対して挿入パター

ン hm を適用して得られる，音符列を y1:N で表す．この音符挿入による変形の過程は，2.2 節の音型モデルにさらにある．式 (2) において sn+1 ̸= 0 かつ sn+1 < sn の場合，一つ下の階層のマルコフモデルを付け加えることで記述で

で，拍節モデルは新たな音価を加えた場合や異なる拍子に

シンコペーションは音型の境界をまたいで，音型の最後

n 番目の音符はシンコペーションされた音符を表す．一方

対して新たにモデル構成が必要など，モデルの拡張性の低

きる．
の音符と次の音型の最初の音符の音価が同時に変形されたさは短所といえる．

ものと捉えられる．音符列 y1:N からシンコペーションを

3. 提案モデル

ンコペーションは，その度合を表す変数 s によりパラメー

提案モデルは，言語モデルと演奏モデルの 2 つの要素か付すことで得られる音符列を x1:N と記すことにする．シ
タ化でき，次の音符の変化に対応する（図 5）．

らなる．以下，これらのモデルの詳細と推論アルゴリズムについて述べる．

3.1 言語モデル

yn → xn = yn + s,

yn+1 → xn+1 = yn+1 − s.

(3)

ここで xn+1 はある音型の最初の音符を表す ．変数 s は*1

正負両方の値を取ることができ，正の場合は掛留音（sus-

音型の不完全反復を含む楽曲構造を反映する音楽言語モ

pension），負の場合は先取音（anticipation）を表す．シン

デルを構成するため，2.2 節の音型モデルを次の 2 点で拡張

コペーションは，音型モデルの状態変数 wi を (wi , si ) のペする．まず音型モデルをディリクレ過程を用いてベイジアン拡張することで，限られた音型のみが選択されるコンパ
クトな文法を持ち，反復構造が誘導される言語モデルの生成過程をモデル化する．また音型の変形モデルを組込むこアに拡張することにより記述できる．θs = P (s) と記すと，遷移確率は P (wi = Bk′ , si |wi−1 = Bk , si−1 ) = πkk′ θsi と拡張される．ここで単純化のため，変数ごとに確率が独立であると仮定した．初期確率の拡張も同様である．

とにより，不完全な反復を含む楽譜の生成過程をモデル化

以上をまとめると，言語モデルにより生成される楽譜

する．以下，変形モデルとベイジアン拡張の順に説明する．

x1:N は，確率変数 w1:I , s1:N と h1:M により明示され，各3.1.1 音型の変形

提案する言語モデルの出力 x1:N は，2.2 節の音型モデル

により生成された音符列 z1:M に変形を付すことで得られる（図 3）．本稿では実際の楽曲に現れる典型的な変形である，音符の挿入とシンコペーションに注目し，特にこれらの内で音価の総和が変化しないものを考える．
音符 zm から挿入により得られる音符列を z̃1 , . . . , z̃Q と記すと，音符の挿入の確率は P (z̃1 · · · z̃Q |zm ) の形で表される．ここで，z̃1 + · · · + z̃Q = zm が成立つ．記号 Q により音符 xn は添字の組 (k, ℓ, h, q, s) により明示される．このモデルは次の遷移確率をもつマルコフモデルで記述される．
"#
P xn = (k ′ , ℓ′ , h′ , q ′ , s′ )|xn−1 = (k, ℓ, h, q, s)'(= δqQ φ(k′ ℓ′ )h′ δq′ 1 δℓL πkk′ θs′ δℓ′ 1 + δkk′ δss′ δ(ℓ+1)ℓ′+ δhh′ δ(q+1)q′ δkk′ δℓℓ′ δss′ .

(4)

3.1.2 ディリクレ過程

言語モデルのパラメーター πk = (πkk′ )k′ , π 0 = (πk0 )k ,φ(kℓ) = (φ(kℓ)h )h と θ = (θs )s は音符列の統計的性質を表

挿入後の音符数を表し，q(= 1, . . . , Q) を挿入後の音符の添す．楽曲によって用いられる音型や変形の種類は異なるた字とする．また Ch = z̃1 · · · z̃Q (h = 1, . . . , H) により可能*1

c 2016 Information Processing Society of Japan⃝

ここで導入した変数 s は，2.3 節の sn とは無関係である．

3

情報処理学会研究報告

Vol.2016-MUS-112 No.22
2016/8/1

IPSJ SIG Technical Report

め，個々の楽曲に対して異なるパラメータの値を考えることにする．ベイズモデルの枠組みでは，これらのパラメー
タは事前モデルから生成されるものとして記述される．音型の分布がスパースになるような事前モデルを用いれば，限られた音型のみから成るコンパクトな文法を記述できる．
生成される分布のスパースネスをコントロールできる事
前モデルとしてディリクレ過程がある．有限次元の分布の場合，離散分布 π に対するディリクレ過程は，基底分布 ωと集中度 α を用いて次のように記述される．

π ∼ DP(α, ω) = Dir(αω).

P (d1:N , v1:N |x1:N ) =

N
!

n=1

P (dn |vn , xn )P (vn |vn−1 ). (8)

ここで，P (v1 |v0 ) ≡ P (v1 ) はテンポの初期確率を表す．実
際上は，テンポ変数には音楽で典型的に用いられる範囲内で離散化した値を用いることで，推論が可能となる．式 (4)と (8) により，提案モデルは Zn ≡ (xn , vn ) を潜在変数とする階層 HMM [27] として記述されることが分かる．

3.3 推論アルゴリズム(5)

ここで Dir(·) はディリクレ分布を表す．このように生成さ

演 奏 信 号 D = d1:N と ハ イ パ ー パ ラ メ ー タ Λ =(ωk , ω 0 , α, ξ, λ) が 与 え ら れ た 時 に 潜 在 変 数 Z = Z1:N

れた分布は E[π] = ω を満たし，α が小さい場合は π の多と言語モデルのパラメータ Θ = (πk , π 0 , φz , θ) を同時

言語モデルの πk と π 0 に対してこのようなディリクレ

は，パラメータ Θ を事後確率 P (Θ|D, Λ) の最大化によくの要素は 0 となる傾向を持つ．
事前モデルをおく．

πk ∼ Dir(αωk ),π 0 ∼ Dir(αω 0 ).

(6)

ハイパーパラメータ ωk と ω 0 に楽曲データから学習した
一般的音楽モデル用いた場合，このディリクレ過程は作曲者が音楽的に可能な音型から個別の楽曲に使う音型を選択する過程と解釈できる．またこれらのハイパーパラメータを一様分布とすることにより，教師なし学習をすることもできる．集中度 α が小さい場合，各楽曲では小数の音型のみが使われることになり，コンパクトな文法が誘導される．

φ(kℓ) と θ に対しても同様にディリクレ事前分布をおく．
φ(kℓ) ∼ Dir(ξ),θ ∼ Dir(λ).

(7)

3.2 演奏モデル

推定することが目標である．モデル学習のステップでり推定する．採譜のステップでは，潜在変数を事後確率

P (Z|D, Θ) ∝ P (Z, D|Θ) の最大化により推定するが，これは標準的なビタビアルゴリズムを用いて行える．P (Θ|D, Λ)を直接最大化することは難しいが，ギブスサンプリングを用いて漸近的に厳密な推定を行える．これは同時確率

P (Z, Θ|D, Λ) からサンプリングを行うことで P (Θ|D, Λ)
からのサンプルを得る方法である．
ギブスサンプリングは，P (Θ|Z, D, Λ) からのパラメータのサンプリングと P (Z|Θ, D, Λ) からの潜在変数のサンプ
リングを交互に行うものである．前者のサンプリングでは，モデルパラメータは事後ディリクレ分布からサンプルできる．例えば，遷移確率パラメータ πk は"#
πk |Z, Λ ∼ Dir αωk + fk (Z) ,(9)

t1:N +1 ，あるいは同等である，IOI（発音時刻間隔）の系

からサンプルできる（fkk′ (Z) は x1:N の中で現れる遷移"#
Bk →Bk′ の数，fk (Z) = fkk′ (Z) k′ を表す）．他のパラ

列 d1:N により明示される．ただし，IOI は dn = tn+1 − tn

タリング・後向きサンプリングの方法により行える．前向

リズム採譜の問題設定では，楽譜は演奏を通して間接的に得られるものである．MIDI 演奏信号は発音時刻の系列で定義される．演奏モデルは，楽譜が与えられた時の確率

P (d1:N |x1:N ) を記述するものである．

ここでは，演奏・楽譜マッチングの研究で提案されている線形動的システムに基づく演奏モデルを用いることにする [23, 24]．これは，音楽演奏の時間揺らぎに対する次の 2
つの要因，演奏者の動作ノイズによる発音時刻の揺らぎとテンポ変動を確率的に記述したモデルである．テンポは，
発音時刻の揺らぎを除いた時に IOI と音価の比 dn /xn を表す潜在変数 vn により表され，その変動はマルコフ過程
により記述される．テンポ変動と動作ノイズの両方をガウ
シアンで表すと，演奏モデルは次の式で与えられる．

vn |vn−1 ∼ N(vn−1 , σv2 ),dn |vn , xn ∼ N(vn xn , σt2 ).

ここで σv と σt は，それぞれテンポ変動と動作ノイズの標準偏差を表す．演奏モデルの完全データ確率は次式で与えられる．

c 2016 Information Processing Society of Japan⃝

メータのサンプリングも同様にできる．

確率 P (Z|Θ, D, Λ) からのサンプリングは，前向きフィル

きアルゴリズムにより前向き変数 αn (Zn ) = P (Zn , d1:n |Θ)を計算した後に，潜在変数はP (Zn |Zn+1:N , D, Θ) ∝ πZn Zn+1 P (dn+1 |Zn , Zn+1 )αn (Zn )に よ り 逐 次 サ ン プ ル で き る ．た だ し ，ZN は

P (ZN |d1:N , Θ) ∝ αN (ZN ) か ら サ ン プ ル す る ．潜 在変数である x1:N と v1:N は P (Z|D, Λ) の中で強い相関を持つため，これらは同時にサンプルする必要があることに注意が必要である．
言語モデルの状態数は O(104 ) 程度になり得る上，テン

ポ変数との積空間はさらに多くの状態を持つため，前向き
アルゴリズムの計算コストが実際的でないことがある．これは状態数が Ns の場合に，前向きアルゴリズムの計算量
が O(N Ns2 ) であることから理解できる．この問題の解決案として，粒子フィルターを用いて前向き変数を近似的に

4

情報処理学会研究報告

Vol.2016-MUS-112 No.22
2016/8/1

IPSJ SIG Technical Report
表 1

推定結果

リズム修正率 R の平均値と標準誤差．値が小さいほど良い．

スケーリング変換
音価の置換

正解楽譜
図 6

リズム採譜結果の修正におけるスケーリング変換と音価置換
の例．

モデル

学習法

変形モデル

1 提案モデル

教師なし
教師なし

!

2
3

半教師あり

4

半教師あり

5

教師あり

6

教師あり

12.8 ± 1.3
16.5 ± 1.8!

6.6 ± 1.0

17.7 ± 2.2!

7.8 ± 1.2

14.7 ± 1.8

7 音符 HMM [6] 教師あり

4. 評価

MIDI演奏信号 (入力)&

0 (sec)b

正解の楽譜

4.1 セットアップ

提案モデルを評価するため，リズム採譜の精度を従来のHMM に基づくモデルと比較する．評価には，J-pop 30 曲のメロディーの MIDI 演奏を用いた（曲の長さは約 15 秒
から 50 秒程度であった）．候補とする音価には，全音符から 16 分音符までの長さを持つ，通常の音符と付点音符と三連符を用いた．提案モデルにおける音型には，これらの7.9 ± 1.4

8 拍節 HMM [5] 教師あり

計算することができる．これにより，粒子数を Np とすると，計算量は O(N Ns Np ) にまで削減できる．

R [%]

1

b

b b b

2

b

3

b b b b4〜

7.3 ± 1.3

14

b

b

15

16

b b b

17

b

b b b b18b
& b bb c œ œœœœœœ œœ œœœ œœœ
œ 〜 ˙

œ œ

œœœœœ œœ œœœ œœœœb& b bbœ œœœœœœ œœ œœœ œœœ
œ 〜 ˙

œ œ

œœœœœ œœ œœœ œœœœb& b bbœ œœ œœ œœ œœ œœœ œœœœ〜Jjj
œ œ œJ œ œ œ œ œ œ œJ œ œ œ œ œ œ œ œ œj

図7

教師あり学習と半教師あり学習した提案モデル（ともに変形モ

推定結果 (半教師あり，音価2倍)推定結果 (教師あり)

3デルあり）によるリズム採譜結果の比較．

音符からなる半音符分の長さの音型全てと全音符の長さを持つ (1)，(3/4,1/4) と (1/4,3/4) の三種類の音型を用いた．

価の置換のほか，音価列の部分列に対するスケール変換を

またこれらの音符のペアで表される，全ての音符の挿入パ用いた（図 6）．スケール変換を加えた理由は，音価の単位

ターンを用いた．シンコペーションの度合も，これらの音の選択には任意性があることによる．例えば，60 BPM の価とその負の値と 0 のどれかであるものとした．

テンポで演奏した四分音符は，120 BPM で演奏した二分提案モデルは，教師あり，半教師あり，教師なしの 3 つ音符と同じ音長となる．詳細は紙面の都合上，他の論文にの学習条件と，音型の変形モデルありとなしの 2 通りの組

記すが，最小限必要な編集操作の数 Ne は Levenshtein 距

合せで，全 6 通りの条件でテストした．教師あり学習で音離と同様な動的プログラミングによって計算できる．リズ型の変形なしの条件は，従来の音型 HMM [6] と同等であ

ム修正率 R は R = Ne /N で与えられ，小さいほど良い．

る．この条件では，(πk )k と π を RWC データベース [28]0のポピュラー曲 100 曲のメロディーを用いて学習した．半
教師あり学習条件では，(ωk )k , ω 0 と λ を同じデータで学

4.2 結果

表 1 に結果を記す．提案モデルでは，音型の変形モデル

習した．教師なし学習条件では，(ωk )k と ω は一様分布を組込むことにより全ての学習条件で，リズム修正率の平とし，λs は，s = 0 ならば 10，それ以外の場合 0.05 とし均が向上した．変形ありの場合の教師あり学習と半教師あた．その他のハイパーパラメータは，α = 700, ξh は挿入

り学習の結果を比較すると，個々の楽曲の文法学習が有効なしに対して 0.1，その他は 0.01，σt = 0.02 秒，そして的に働いていることが確認できる．また，教師なし条件でσv = 0.06 (秒/四分音符) とした [24]．

は教師あり条件に比べて 5 ポイント精度が低かった．提案

0

比較手法として，音符 HMM [6] と拍節 HMM [5]（それモデルで最も精度が高かった，変形ありの半教師あり学習

ぞれ 1 次のもの）を実装した．これらのモデルは上述のの場合の結果は，従来の HMM に基づく手法よりも精度がRWC データベースを用いて学習した．また拍節 HMM で高かった．

は，小節単位を四分音符 2 個分（即ちポピュラー楽曲に多図 7 に示す結果の例では，教師あり学習した音型モデル

い 4/4 拍子では半小節分）とし，最大音価を音符 HMM やに比べ，半教師あり学習した提案モデルにより反復構造が提案モデルと揃えるため J = 2 とした．演奏モデルは，提捉えられているとこが確認できる．教師あり学習の場合に案モデルと同じものを用いた．

推定誤りがあった箇所が，半教師あり学習の場合では反復

リズム採譜の評価尺度として，「リズム修正率」を次の通構造と共に正しく推定されている．図 8 に示す結果の例でり定義して用いた．まず，リズム修正コストを推定結果をは，提案モデルによってシンコペーションと音符の挿入に正しい楽譜に修正するために必要な編集操作の最少数としよる変形を含む音型の不完全反復構造が捉えられているこて定義し，これを音符数で割ったものをリズム修正率としとが確認できる．

た．リズムの修正に用いる編集操作として，音符単位の音

c 2016 Information Processing Society of Japan
⃝

提案法の性能を向上するための改良の余地は多い．一つ5

情報処理学会研究報告

Vol.2016-MUS-112 No.22
2016/8/1

IPSJ SIG Technical Report
MIDI演奏信号 (入力)
(sec)

&

正解の楽譜

&c

œ œ œ œ œ œ œ œ œ œ œ #œ œ œ . œ œ œ œ œ œ œ œ œ œ œ œ œ œ . œ œ œ . œ œ œ . œ œJ[8]

推定結果 (出力)&œ œ œ œ œ œ œ œ œ œ œ #œ œ œ . œ œ œ œ œ œ œ œ œ œ œ œ œ œ . œ œ œ . œ œ œ . œ œ
J

推定結果から変形を取り除いた音型列œ œ œ œ œ œ œ œ œ œ œ œ. œ œ œ œ œ œ œ œ œ œ œ œ œ. j œ. j œ. œ
#œ
œ
œ
J
J

&

図 8

[9]

提案法（半教師あり，変形モデルあり）によるリズム採譜結果の例．上から 3 番目は推定結果，4 番目は変形を除いた推定結[10]果を示している．

は可変長の音型モデルにより，音型の長さの選択に関する任意性を取り除くことである．これは階層ディリクレ過程
を用いて行えると考えられる．また階層的な反復構造のモ
デル化および音高情報を用いた反復構造の推定も有効だと

[11]
[12]
[13]

考えられる．

5. おわりに
音楽 MIDI 演奏信号から，楽譜とその背後にある楽曲ごとに個別の言語モデルを同時に推定する枠組みについて論

[14]

[15]

じた．提案モデルにより，楽曲ごとのコンパクトな文法の学習および代表的な音型によるセグメンテーションができることが確認できた．反復構造に基づく文法と構造の同時[16]

学習の枠組みは，音響信号を入力とした現実的な採譜でも有効であると考えられる．今後，無限語彙モデルに拡張し，[17]

可変長の音型の自動学習を行う予定である．また多声音楽に対する拡張のため，声部構造の扱いも今後の課題である．

謝辞

[18]

[19]

有益な議論をして頂いた持橋大地氏と錦見亮氏に感謝する．本研究の一部は JST OngaCREST プロジェクト,

JSPS 科研費 24220006, 26700020, 26280089, 15K16054,
16H01744, 16J05486 と栢森情報科学振興財団助成金による支援を受けて行われた．著者の中村は，日本学術振興会の特別研究員（PD）制度より支援を受けた.
参考文献
[1]
[2]

[3]

[4]
[5]
[6]

[7]

A. Klapuri and M. Davy (eds.), Signal Processing Methods for Music Transcription, New York: Springer, 2006.
E. Benetos et al., “Automatic Music Transcription:
Challenges and Future Directions,” J. Intelligent Information Systems, vol. 41, no. 3, pp. 407–434, 2013.
A. T. Cemgil et al., “Rhythm Quantization for Transcription,” Comp. Music J., vol. 24, no. 2, pp. 60–76,
2000.
D. Temperley, The Cognition of Basic Musical Structures, The MIT Press, 2001.
C. Raphael, “Automated Rhythm Transcription,”
Proc. ISMIR, pp. 99–107, 2001.
H. Takeda et al., “Hidden Markov Model for AutomaticTranscription of MIDI Signals,” Proc. MMSP, pp. 428–
431, 2002.
M. Hamanaka et al., “A Learning-Based Quantization:c 2016 Information Processing Society of Japan
⃝

[20]
[21]
[22]

[23]

[24]

[25]
[26]

[27]

[28]

Unsupervised Estimation of the Model Parameters,”
Proc. ICMC, pp. 369–372, 2003.
M. Tsuchiya et al., “Probabilistic Model of TwoDimensional Rhythm Tree Structure Representation for
Automatic Transcription of Polyphonic MIDI Signals,”
Proc. APSIPA, paper id 14002890, pp. 1–6, 2013.
S. Levinson et al., “An Introduction to the Applicationof the Theory of Probabilistic Functions of a Markov
Process to Automatic Speech Recognition,” The Bell
Sys. Tech. J., vol. 62, no. 4, pp. 1035–1074, 1983.
C. Ames, “The Markov Process as a Compositional
Model: A Survey and Tutorial,’ Leonardo, vol. 22, no. 2,
pp. 175–187, 1989.
F. Pachet et al., “Finite-Length Markov Processes with
Constraints,” Proc. IJCAI, pp. 635–642, 2011.
M. Cooper et al., “Automatic Music Summarization via
Similarity Analysis,” Proc. ISMIR, pp. 81–85, 2002.
J. Paulus et al., “State of the Art Report: Audio-BasedMusic Structure Analysis,” Proc. ISMIR, pp. 625–636,
2010.
D. Meredith et al., “Algorithms for Discovering Repeated Patterns in Multidimensional Representations of
Polyphonic Music,” J. New Music Res., vol. 31, no. 4,
pp. 321–345, 2002.
C. Wang et al., “Music Pattern Discovery with Variable Markov Oracle: A Unified Approach to Symbolicand Audio Representations,” Proc. ISMIR, pp. 176–182,
2015.
M. Johnson et al., “Bayesian Inference for PCFGs
via Markov Chain Monte Carlo,” Proc. HLT-NAACL,
pp. 139–146, 2007.
H. Shindo et al., “Bayesian Symbol-Refined Tree Substitution Grammars for Syntactic Parsing,” Proc. ACL,
pp. 440–448, 2012.
D. Mochihashi et al., “Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor Language Modeling,” Proc. ACL-IJCNPL, pp. 100–108, 2009.
T. Nakamura et al., “Multimodal Concept and Word
Learning Using Phoneme Sequences with Errors,”
Proc. IROS, pp. 157–162, 2013.
Y. Yang et al., “A Log-Linear Model for Unsupervised
Text Normalization,” Proc. EMNLP, pp. 61–72, 2013.
L. Stein, Structure & Style: The Study and Analysis ofMusical Forms, Summy-Birchard Inc., 1979.
M. Jordan, “Dirichlet Processes, Chinese Restaurant
Processes and All That,” Tutorial presentation at the
NIPS Conference, 2005.
C. Raphael, “Automatic Segmentation of Acoustic Musical Signals Using Hidden Markov Models,” IEEE
TPAMI, vol. 21, no. 4, pp. 360–370, 1999.
E. Nakamura et al., “A Stochastic Temporal Model of
Polyphonic MIDI Performance with Ornaments,” J. New
Music Res., vol. 44, no. 4, pp. 287–304, 2015.
M. Nakano et al., “Bayesian Nonparametric Music
Parser,” Proc. ICASSP, pp. 461–464, 2012.
E. Nakamura et al., “Tree-Structured Probabilistic
Model of Monophonic Written Music Based on the Generative Theory of Tonal Music,” Proc. ICASSP, pp. 276–
280, 2016.
S. Fine et al., “The Hierarchical Hidden Markov Model:
Analysis and Applications,” Machine Learning, vol. 32,
no. 1, pp. 41–62, 1998.
M. Goto et al., “RWC Music Database: Popular, Classical, and Jazz Music Databases,” Proc. ISMIR, pp. 287–
288, 2002.

6