情報処理学会論文誌

Vol.60 No.7 1–11 (July 2019)

同質性・反復性・規則性を考慮した
階層隠れセミマルコフモデルに基づく統計的音楽構造解析
柴田 剛1 , a)

錦見 亮1 , b)

中村 栄太1,2 , c)

吉井 和佳1 , d)

受付日 2019年7月5日，再受付日 2019年7月5日,
採録日 2019年7月5日

概要：本稿では，音楽音響信号を音楽的に意味のあるひとまとまりの区間（セクション）に分割し，それらをいくつかのクラスに分類する音楽構造解析手法について述べる．我々は，音楽構造を決定する三つの基本的側面，即ち各セクション内における音色の同質性，同じクラスのセクションにおけるコード進行の反復性，およびセクション長の規則性に着目し，これらを確率的な枠組みで統一的に取り扱うための階層隠れセミマルコフモデルを提案する．本モデルは，セクション系列とコード系列に対応する二階層の潜在変数系列を持ち，音色特徴量（メル周波数ケプストラム係数）とコード特徴量（クロマベクトル）を観測変数系列として出力する．まず，上位のセクション系列は，各セクションの継続時間長を考慮したセミマル
コフモデルに従うと仮定し，音色の同質性を担保するため，セクションクラスごとに音色特徴量の出力分布を仮定する．一方，下位のコード系列は，同じクラスのセクションでは同じ順序でコード進行が反復されるように，セクション条件付き Left-to-Right 型マルコフモデルに従うと仮定する．各パラメータに共役事前分布を導入してベイズモデルを構成することにより，セクション数とコード数を過剰に設定しても，観測データに合わせて適切な個数のセクションとコードからなる潜在変数系列を推定できる．実験により，同質性と規則性の統合による性能向上を確認した．また，提案法による音楽構造解析結果は正解データと類似する統計的性質を持ち，分割・分類精度において代表的な既存手法より優れていることを確認した．
キーワード：音楽構造解析，隠れセミマルコフモデル，教師なし学習，統計的音楽信号処理，ベイズ推論

Statistical Method for Music Structure Analysis
Based on a Hierarchical HSMM
Go Shibata1,a)Ryo Nishikimi1,b)

Eita Nakamura1,2,c)Kazuyoshi Yoshii1,d)Received: July 5, 2019, Revised: July 5, 2019,
Accepted: July 5, 2019

Abstract: This paper describes a music structure analysis method that splits music audio signals
into meaningful segments (musical sections) and clusters them. Focusing on three fundamental aspects that characterize musical structures, homogeneity of timbre within each section, repetitivenessof chord progression in sections of the same class, and regularity of durations of sections, we proposea hierarchical hidden semi-Markov model (HSMM) that can deal with these aspects in a unified
probabilistic framework. This model has two sequences of latent states corresponding to a sequenceof sections and that of chords. The timbral features (mel-frequency cepstrum coeﬃcients) and chord
features (chroma vectors) are emitted as observed variables. The higher-level sequence of sections is
assumed to follow a semi-Markov model that explicitly represents the duration of each section. The
emission distributions of timbral features are assigned to individual section classes to guarantee thehomogeneity of timbre. The lower-level sequence of chords is assumed to follow a section-conditioned
left-to-right Markov model. This model represents the repetition of chord progressions in sectionsof the same class. We formulate a Bayesian model by putting conjugate prior distributions. The
sequences of latent states with appropriate eﬀective numbers of sections and chords can be estimated even if too many sections and chords are assumed. Evaluation experiments showed that thejoint modeling of homogeneity and regularity improved the performance. In addition, the proposed
method can yield analysis results with similar statistical properties as the ground truth data andhas higher accuracy than conventional methods in segmentation and clustering.
Keywords: music structure analysis, hidden semi-Markov model, unsupervised learning, statisticalmusical signal processing, Bayesian inferencec 2019 Information Processing Society of Japan⃝1

情報処理学会論文誌

Vol.60 No.7 1–11 (July 2019)

1. はじめにセクション長の規則性セクション A

音楽音響信号からセクション（ポピュラー音楽の A メ

Cロ，B メロ，サビなど）と呼ばれる意味のあるセグメント

音色特徴量の同質性の検出をする音楽構造解析 [1] は，音楽情報検索（Music

Information Retrieval; MIR）の基礎技術であり，長年研究されているトピックである．一般に，音楽構造解析は音GAmセクション B
Em

F

C

ギター

G

Am

G
歌声

コード進行の反復性

ギターセクション C

セクション A
C

F

Em

F

C

F

G
歌声

楽音響信号をセクションに分割する「セグメンテーション
ステップ」[2–9]，各セクションをいくつかのクラスに分類
する「クラスタリングステップ」[10–18]，そして各クラスに A メロ，サビのような具体的なラベルを付ける「ラベリングステップ」[19–21] を含む．本稿では，ポピュラー音
楽のセグメンテーションとクラスタリングを取り扱う．

ギター

サックス

ギター

図 1 音色特徴量の同質性，コード進行の反復性，およびセクション長の規則性に基づく音楽構造解析．

はセクションに対応する上位状態から生成されると仮定す

従来，ポピュラー音楽のセクションはセクション内の「同る．コード進行のセクション間の反復性を表すために，セ

質性」，セクション間の「反復性」と「新規性」の三つの側

クションのクロマベクトルは下位状態から系列的に生成さ面を持つとされてきた [1]．具体的には，同質性は音響特性れると仮定する．観測データとして音楽音響信号が与えら（例えば，メル周波数ケプストラム係数（Mel-Frequency

れた時，ギブスサンプリングとビタビ学習を用いることで

Cepstrum Coeﬃcient; MFCC）などの音色特徴量）がセモデル全体を教師なしで学習できる．この際，ベイズ推論

クション内で一貫していることを意味する．反復性は，セに基づくスパース学習の効果により，最適なセクション数

クションのある音楽的要素の系列（例えば，クロマベクトが自動的に推定される．

ルやコード進行）が同じクラスのセクションで繰り返され本研究の主な貢献は，セクションの同質性・反復性・規ることを意味する．新規性は，音楽特性がセクションの境

則性を統一的に扱える生成モデルに基づく音楽構造解析

界で急激に変化することを意味する．さらに，ポピュラー

手法の提案である．このアプローチは，セクションのアノ

音楽ではセクション長はその多くが 4 または 8 小節であテーションを用いた教師あり学習に基づく深層識別モデ

り，いくつかの研究ではそのような「規則性」に注目してル [6–8] と異なり，教師なし学習を実行できる利点を持つ．

いる [8–10]．しかし，第 2 章で説明するように，音楽構造

これら二つのアプローチは相互補完的な関係にあるため，

解析に関する研究は上記の側面のうち一つのみに注目する

本研究の結果は識別モデルと生成モデルの深層ベイズ統

か，または複数の側面を別々に扱うものがほとんどである．

合である変分自己符号化の枠組み [22]（音響信号からセク

これら四つの側面を同時に捉える計算モデルの構築が音楽

ション系列，反対にセクション系列から音響信号のモデル

構造解析における中心的な課題である．

化）によるさらなる改善の可能性につながる．もう一つの本研究では，確率的な枠組みでセクションの同質性・反重要な貢献は，各種手法の推定結果の統計的特徴を詳細に

復性・規則性を同時に扱う統計的音楽構造解析手法を提案

調査したことである．本稿では，提案法により推定されたする（図 1）．具体的には，セクション，コード進行，およびセクション長，セクションクラス数，およびセクション境

音楽音響信号（音色特徴量とクロマベクトル）の階層的生界の拍節位置の分布が，従来法から得られる分布よりも正成過程を表す，階層隠れセミマルコフモデル（Hierarchical

解データと近いものとして得られることを示す．なお，本Hidden Semi-Markov Model; HHSMM）と呼ばれる統一

稿は，国際会議における我々の報告 [23] をベースに，推定的確率モデルを定式化する．このモデルは二階層の潜在状

結果に対する詳細なエラー解析を加えたものである．

態系列を持つ．上位の系列はセクション系列を表し，継続長の規則性を明示的に表現するセミマルコフモデルで記述される．下位の系列はコード系列を表し，セクションに条

2. 関連研究
音楽構造解析に対する最も標準的なアプローチは，クロ件付いた Left-to-Right 型のマルコフモデルで記述される．

マベクトルや MFCC などの音響特徴量の自己類似度行列セクション内の音色特徴量の同質性を表すために，MFCC（Self-Similarity Matrix; SSM）を用いるものである．こ

1
2
a)
b)
c)
d)

京都大学 大学院情報学研究科
Graduate School of Informatics, Kyoto University
京都大学 白眉センター
The Hakubi Center for Advanced Research, Kyoto University
gshibata@sap.ist.i.kyoto-u.ac.jp
nishikimi@sap.ist.i.kyoto-u.ac.jp
enakamura@sap.ist.i.kyoto-u.ac.jp
yoshii@kuis.kyoto-u.ac.jp

c 2019 Information Processing Society of Japan
⃝の行列の各要素は，二つの時間フレーム間の音響的類似性を表す（図 2）
．SSM では，同質性，反復性，新規性，および規則性は，それぞれブロック対角構造，対角線に平行な短い縞，格子パターン，および格子間隔の規則性として現れる．これら四つの側面は音楽構造解析におけるセグメン
テーションおよびクラスタリングタスクに使用されてきた．

2

情報処理学会論文誌

Vol.60 No.7 1–11 (July 2019)

え，セクション境界の検出とセクションのクラスタリング

規則性を行った．McFee ら [16] は，反復構造をグラフを用いて新規性記述し，グラフ分解のためのスペクトル・クラスタリング
を用いる方法を提案した．

同質性

セグメンテーションとクラスタリングを同時に行う生成反復性

図 2 MFCC による自己類似度行列（Self-Similarity Matrix; SSM）
（RWC-MDB-P-2001 No. 25 の一部）．

モデルに基づく統計的手法に関する研究も行われている．

Aucouturier ら [11] は，標準的な HMM に基づく手法を調べた．Levy ら [25] は，隠れセミマルコフモデルに基づ
くセクション長の規則性を考慮する手法を提案した．Ren
ら [17] は，セクションの個数を推定できる HMM のノンパ
ラメトリックベイズ拡張を提案した．Barrington ら [18]も，自動的にモデルの複雑度を制御できるスイッチング線

2.1 セグメンテーション
Foote [2] は新規性に着目し，チェッカーボードカーネル
を SSM の対角要素に沿って畳み込んで得られる時変新規性曲線からピークを検出する方法を提案した．Jensen [3]形動的システムのノンパラメトリックベイズ拡張を提案しは，同質性と新規性に基づくコスト関数の最小化による知識を取り込んだベイズ推論を行える利点がある．

セクション境界推定法を提案した．Goto [19] は，反復構
造が縞ではなく垂直線として現れる様に工夫されたラグSSM およびこれに基づく新規性曲線の計算法を提案した．
Serrà [4] は局所的な変化と大域的な特徴の両方を捉える新
たな新規性曲線を提案した．Peeters ら [5] は，これらの二つの手法 [4, 19] を統合し，セグメンテーションの改良を行った．Ullrich ら [6] は，畳み込みニューラルネットワー
ク (CNN) に基づく教師あり学習手法の先駆けとなった．

ている．これらの方法は主に同質性と規則性に着目している一方で，提案法は反復性も同時に考慮でき，継続長や拍節位置などのセクションに関する統計的特徴に関する事前3. 提案法
本章では，提案する統計的音楽構造解析手法を説明する．
提案法は，単一楽曲生成モデルの教師なしベイズ学習に基づいている．セクションの継続時間長の事前分布を定義する際に，解析対象の楽曲を含まない楽曲群（正解のセクショ
ン系列）から予め学習しておいた経験分布を用いる．それ以外のハイパーパラメータは，事前知識を用いず手動で設

この手法は，粗いレベルと細かいレベルの両方の境界アノ定する．対象楽曲に対してパラメータの事後分布推定を行テーションを取り扱う手法に拡張されている [7]．Smith

うことで，事後確率が最大となるセクション系列を得る．

ら [24] は，複数の音楽構造解析結果から最適なものを選択する後処理に規則性を用いることは性能向上に有効ではなく，解析時に規則性を考慮することが重要である可能性に言及した．Sargent ら [9] は，一曲中のセクションは同
じ継続長を持ちやすいという規則性を捉えることの有効性を指摘した．Maezawa [8] は，同質性・反復性・新規性・規則性に基づくコスト関数と LSTM（長短期記憶）ネット
ワークに基づく手法を開発した．これら関連研究の知見を

3.1 問題設定
我々が取り組む問題を以下のように定式化する．
入力: 音楽音響信号から得られた，ビート単位のクロ
マ ベ ク ト ル 系 列 Xc = xc1:B ∈ RB×12 と MFCC 系 列
B×12
X m = xm
1:B ∈ R

出力: セクションの境界とクラス参考にして，本研究では，同質性・反復性・規則性を同時

ここで，B は四分音符単位のビート数，添え字 ⃝a:b は系に考慮した生成モデルに基づく手法を提案する．

列 (⃝a , . . . , ⃝b ) を表す．本手法では，オクターブ内の 12
種類のピッチクラスに対応する 12 次元クロマベクトルと，

2.2 クラスタリング
Cooper ら [12] は，セグメンテーション [2] とセクショ

音色特徴量として 12 次元 MFCC を使用する．

ン内部およびセクション間の統計的特性に基づくクラス
タリングを段階的に行った．Goodwin ら [13] は，動的計

3.2 モデル定式化
図 3 に示すように，提案モデルを二階層のマルコフ連鎖画法を用いて SSM の非対角成分の中に縞の構造を効率的と音響モデルで構成する．上位のマルコフ連鎖はセクショに検出する試みを行った．反復性と同質性を同時に扱うたンレベルの構造（セクションクラスと継続長）を表現し，め，Grohganz ら [14] は SSM の持つ対角線に平行な縞を下位のマルコフ連鎖は各セクションの内部構造（コード進

固有値分解を用いてブロック対角構造に変換することで，行）を表現する．音響モデルは，これらの潜在状態と観測同質性に基づく手法が反復性にも適用できることを示しされた音楽特徴量（クロマベクトルと MFCC）との関係をた．Nieto ら [15] は，非負値行列分解に凸結合の制約を加記述する．

c 2019 Information Processing Society of Japan⃝3

情報処理学会論文誌

Vol.60 No.7 1–11 (July 2019)

潜在状態

3.2.1 上位マルコフ連鎖
上位のマルコフ連鎖は全遷移型のセミマルコフモデルであり，セクション系列 Z = z1:T (zτ ∈ {1, . . . , NZ }) と継続
長系列 D = d1:T (dτ ∈ {1, . . . , ND }) を生成する．ここで，T はセクションの数，NZ は取りうるセクションクラスの種類数，ND はセクションの最大継続長を表す．セクショ
ン系列と継続長系列の生成過程は以下の通りである．

継続長!

セクション "

コード

#

観測データ
クロマ
MFCC

p(z1 , d1 ) = ρz1 ψd1p(zτ , dτ |zτ −1 , dτ −1 ) = πzτ −1 zτ ψdτ

(1)
(2)

図 3 提案モデルにおける音楽音響信号の生成過程

ここで，ρz と πzz ′ はセクション系列の初期確率と遷移確のクラスと内部状態を表す．出力確率は多変量正規分布に率であり，ψd は継続長確率である．

従うことを仮定する．

3.2.2 下位マルコフ連鎖
下位のマルコフ連鎖は状態数 NK の Left-to-Right 型マルχcz,k (xc ) = N (xc |µcz,k , (Λcz,k )−1 )(5)

コフモデルであり，各セクションの内部構造を表現する．各

m
m m
m −1
χm
)
z (x ) = N (x |µz , (Λz )(6)

状態はコードを表し，状態系列はコード進行を表す．各セク
ションがこのようなマルコフ連鎖を持ち，対応するセクショ

ここで， µcz,k と Λcz,k はクロマベクトルの平均と精度行列，ンの開始時刻から継続時間が経過するまでビート単位で状態mµm
z と Λz は MFCC の平均と精度行列である．

遷移を続ける．状態系列 Kτ = kτ,1:dτ (kτ,t ∈ {1, . . . , NK })3.2.4 事前分布
共役事前分布を置くことでベイズ HHSMM を定式化すの生成過程は以下の通りである．

る．離散分布に対してはディリクレ事前分布を置く．
(z )τ
p(kτ,t |zτ , kτ,t−1 ) = ϕkτ,t−1
kτ,t

(3)
ρ ∼ Dirichlet(aρ )(7)ψψ ∼ Dirichlet(a )(8)

この Left-to-Right 型マルコフモデルは，初期状態がπz ∼ Dirichlet(aπ )(9)kτ,1 = 1 で，かつ，t1 < t2 ならば kτ,t1 ≤ kτ,t2 を満たす．

(z)ϕk ∼ Dirichlet(aϕ )(10)

ここで，zτ と dτ は対応するセクションのクラスと継続長であり，ϕkkτ′ は状態 k から状態 k ′ への遷移確率である．
(z )このように，同じクラスのセクション同士では類似する
コード進行を持つという制約を与えることで反復性を表現する．また，状態遷移の最大幅を表すハイパーパラメー
タ σ を導入し，状態 k から状態 k + σ までの遷移は許容
するが，それより大きな状態遷移を禁止する．すなわち，(z)k ′ > k + σ の時 ϕkk′ = 0 である．これにより，反復構造における揺らぎを表現する．3.2.4 項と 3.3.2 項で後述する通(z )り，本モデルでは遷移確率 ϕkkτ′ の値を直接は与えず，事前分布をおいた上で入力データに応じて学習する．以降，

K1:T を K と表す.
音響モデルは，セクションのクラス Z と内部状態 K に条件付けられた出力確率を用いて，クロマベクトル xcb ∈ R12
12と MFCC xmの生成過程を表現する．コード進行のb ∈R

系列構造を表現するため，クロマベクトルの出力確率 χcz,kは Z と K の両方に依存すると仮定する．また，各セクショ
ンにおける音色特徴量の同質性を捉えるため，MFCC の
出力確率 χmz は Z にのみ依存すると仮定する．

メータである．これらのパラメータの値が小さい場合，クラス間の遷移確率はまばらになる．これにより，モデルは小さい音響的変動があっても反復構造を捉えられ，不必要なセクションクラスを取り除ける．
ポピュラー音楽では，セクション長は 4 小節の整数倍になる傾向があるので（図 4），そうした統計的な傾向を事
前分布に組み込むことができる．具体的には，aψ としてセクションクラスの構造は個別の楽曲によって大きく異なるため，初期確率および遷移確率に対しては一様なディリ
クレ事前分布を仮定する．
最後に，多変量正規分布に対してはガウス・ウィシャー
ト事前分布を置く．

µcz,k , Λcz,k ∼ N (µcz,k |mc0 , (β0c Λcz,k )−1 ) W(Λcz,k |W0c , ν0c )mm
mm m −1m
mµm) W(Λmz , Λz ∼ N (µz |m0 , (β0 Λz )z |W0 , ν0 )(4)

ここで，zb と kb はそれぞれビート b におけるセクションc 2019 Information Processing Society of Japan
⃝

=

(z)
ϕk(1:NK ) であり，aρ ，aψ ，aπ ，および aϕ はハイパーパラ

セクション長の経験分布 aψemp を定数倍したものを用いる．

3.2.3 音響モデルccmmp(xcb , xmb ) = χzb ,kb (xb )χzb (xb )(z)

ここで，ρ = ρ1:NZ ，ψ = ψ1:ND ，πz = πz(1:NZ ) ，ϕkm
mm
ここで，mc0 ，β0c ，W0c ，ν0c ，mm
0 ，β0 ，W0 および ν0 は

ハイパーパラメータである．

4

情報処理学会論文誌

Vol.60 No.7 1–11 (July 2019)

3.3 ベイズ学習cm

我々の目的は事後分布 p(Z, D, K, Θ|X , X ) の計算である．ここで，Θ = {ρ, ψ, π, ϕ, µ, Λ} である．この事後分

ζτ,kτ,t = p(kτ,t , xc1:t , xm
(17)
1:t |zτ , dτ )


∑
(zτ )
m
 χcz ,k (xct )χm=ζτ,kτ,t−1 ϕkτ,t−1zτ (xt )
kτ,t
τ
τ,t

布は解析的に計算できないため，ギブスサンプリング法を用いる．分布 p(Z, D, K|Θ, Xc , Xm ) から潜在変数 Z，D，K をサンプルしたのち，分布 p(Θ|Z, D, K, Xc , Xm ) から
モデルパラメータ Θ をサンプルする．この処理を反復することで，真の事後分布からのサンプルを得る．

3.3.1 潜在変数のサンプリング
上位と下位の潜在変数 Z，D，K のサンプリングにはkτ,t−1

バックワードサンプリングでは，潜在変数 Kτ を後ろから順にサンプルする．

p(kτ,dτ |zτ , dτ , xc1:dτ , xm
1:dτ ) ∝ ζτ,kτ,dτ

(18)

(zτ )
p(kτ,t |zτ , dτ , kτ,t+1:dτ , xc1:dτ , xm
1:dτ ) ∝ ζτ,kτ,t ϕkτ,t kτ,t+1(19)

フォワードフィルタリング・バックワードサンプリング法を用いる．ビート b − db + 1 から始まり，ビート b で終わるセクションのクラスと継続長を表す変数 zb と db を導入

3.3.2 モデルパラメータのサンプリング
本研究では，ギブスサンプリング法を用いる．

する．また，このセクションの周辺出力確率を以下のようρ ∼ Dirichlet(aρ + bρ )におく．

πz ∼ Dirichlet(a + b
π

d∏
b −1

=

kb−db +1:b ∈{1,...,NK }db t=1

·

db
∏

(zb )
ϕkb−d
k
b +t b−db +t+1m
χczb ,kb−d +t (xcb−db +t )χmzb (xb−db +t )
b

(11)

t=1

(21)

ψ ∼ Dirichlet(aψ + bψ )

(22)

(z)
(z)
ϕk ∼ Dirichlet(aϕ + bϕk )

(23)

c
c
Λcz,k ∼ W(Wz,k, νz,k)(24)cµcz,k |Λcz,k ∼ N (mcz,k , (βz,kΛcz,k )−1 )

(26)

m
m
m m −1µm)
z |Λz ∼ N (mz , (βz Λz )リズムを用いることで計算できる．
数 αb (zb , db ) = p(zb , db , xc1:b , xm
1:b ) の初期化と更新を行う．

(25)

m
m
Λm
z ∼ W(Wz , νz )この確率は下位のマルコフ連鎖に対してフォワードアルゴ
上位モデルのフォワードフィルタリングステップでは，変(20))

ωzb (xcb−db +1:b , xm
b−db +1:b )
∑

πz

(27)
(z)

ここで，bρ ∈ RNZ ，bπz ∈ RNZ ，bψ ∈ RND ，bϕk ∈ RNK
である．bρz は z = z1 の時に１，そうでなければ０となる．

(12)

ψ
′
z
また，bπ
z ′ は状態 z から状態 z への遷移回数，bd は継続長

αb (zb , db )(13)∑
αb−db (z ′ , d′ )πz′ zb ψdb ωzb (xcb−db +1:b , xm=
b−db +1:b )d がサンプルされた回数，bk′k はセクション z の下位モデ

αb (zb , db = b) = ρzb ψdb ωzb (xc1:b , xm
1:b )z ′ ,d′バックワードサンプリングステップでは，潜在変数 Z とD を後ろから順にサンプリングする．具体的には，変数 zbと db がサンプル済みであるとき，ビート b′ = b − db における変数 z と d をサンプルする．
b′b′p(zB , dB |X , X ) ∝ αB (zB , dB )cmϕ

ルにおける状態 k から状態 k ′ への遷移回数を表す．パラcccは次式で計算できる．
，Wz,k
，νz,k
メータ mcz,k ，βz,kc
βz,k= β0c + Nz,k ,

(28)
(29)

c
(Wz,k
)−1 = (W0c )−1 + Nz,k Scz,k(14)

次に，潜在変数 K をサンプル済みの Z と D を用いてサン+してフォワードフィルタリング・バックワードサンプリンNz,k =

グ法を用いることでサンプルする．ここで，セクション境界に対して相対的に定められるビート添字 t ∈ {1, . . . , dτ }を用いる．フォワードフィルタリングステップでは，確率ζτ,kτ,t を再帰的に計算する．

β0c Nz,k(xc − mc0 )(xcz,k − mc0 )T (30)β0c + Nz,k z,k

ここで，Nz,k ，xcz,k ，Scz,k をそれぞれ以下のように定義する．

プルする．各変数集合 Kτ は，クラス zτ の下位モデルに対B∑

δzb z δkb k

(31)

b=1

1 ∑
δzb z δkb k xcb
Nz,kB

xcz,k =

(32)

b=1

1 ∑
δzb z δkb k (xcb − xcz,k )(xcb − xcz,k )T (33)Nz,kB

Scz,k =

ζτ,kτ,1 = p(kτ,1 , xc1 , xm
1 |zτ , dτ )c 2019 Information Processing Society of Japan
⃝

c
νz,k
= ν0c + Nz,k1c ccc (β0 m0 + Nz,k xz,k )βz,kmcz,k =

p(zb′ , db′ |zb:B , db:B , Xc , Xm ) ∝ αb′ (zb′ , db′ )πzb′ zb (15)m= δkτ,1 1 χzcτ ,1 (xc1 )χmzτ (x1 )

(z)

b=1

(16)

m
m
m
パラメータ mmz ，βz ，Wz ，νz も同様に計算される．

5

情報処理学会論文誌

Vol.60 No.7 1–11 (July 2019)

3.3.3 モデルの改良

I は全ての要素が 1 のベクトルを表す．始めの三つのハイ学習を促進するために二つの改良を導入する．まず，パパーパラメータ NZ , ND , NK は図 4 のようなアノテーショ

ラメータ推定の最終ステップでビタビ学習 [26] を適用す

ンデータの統計情報を参考にして決定した．データによる．ギブスサンプリングで推定されるパラメータは必ずしると，多くの楽曲ではセクションの種類数は 12 以下であも事後分布の局所最適解ではない．そこで，潜在変数の推り，その継続長は 40 ビート以下である．あるセクション

定にはフォワードフィルタリング・バックワードサンプリの継続長が 32 ビート（8 小節）であり，各コードの長さ

ングアルゴリズムの代わりにビタビアルゴリズムを適用

が 2 ビートであるとすると，そのセクションにおけるコー

し，潜在変数に関する事後確率を最大化する．また，モデ
ルパラメータの更新には事後分布からのサンプルの代わりドの数として 16 が得られる．また，簡単のため σ の値は1，wdur の値は 4 とした．wdur の値による性能への影響にに事後分布の期待値を用いる．

ついては後述する．その他のハイパーパラメータは後述の次に，継続長確率に対して重み係数 wdur (≥ 1) を導入

評価尺度に関して大まかに最適化を行うことで決定した．

して，その確率の影響を強める．具体的には，式（12）と各パラメータはそのほかのパラメータを固定した上で，グ（13）において確率係数 ψdb を (ψdb )wdur で置き換える．前

リッドサーチによって最適化した．ハイパーパラメータの述のビタビ学習ステップや 3.4 節で述べるセクション推定

更なる最適化は今後の課題とした．

ステップにおいても，同様の置き換えを行う．重み係数を

本研究では，三種類の実験を行なった．最初の実験では，大きくすることで，より頻出する継続長に重点を置く効果

三つの基本的側面をモデルに組み込んだことによる性能向が得られる．

上を検証した．音色の同質性とコード進行の反復性による影響を分析するため，提案法の他，クロマのみを用いた場

3.4 セクション推定

合と MFCC のみを用いた場合を比較した．さらに，継続

モデルパラメータを学習したのち，潜在変数（セクショ長の規則性による影響を確認するため，継続長分布を一様

ン）を最大事後確率（maximum a posteriori; MAP）推分布とした場合も比較した．次の実験では，ビタビ学習に定によって求める．具体的には，潜在変数 Z と D に関しよる性能向上を確認するため，提案法とビタビ学習を行わて事後確率 p(Z, D|Θ, Xc , Xm ) を最大化する．これは，下ない場合を比較した．最後の実験では，既存の手法との比位状態 K を積分消去し，上位モデルに対して隠れセミマ

較実験として，MSAF（音楽構造解析フレームワーク）[33]

ルコフモデルのビタビアルゴリズム [27] を適用することでに実装されている，VMO（可変マルコフオラクル）[34]，求められる．

CNMF（凸型 NMF）[15]，および SCluster（スペクトラ
ルクラスタリング法）[16] などの最新の手法を用いた．これらのモデルでは，MSAF のデフォルトの設定を用いた．

4. 評価実験
本章では，提案手法の評価実験について述べる．

評価実験では，セグメンテーションとクラスタリングの性能を MIREX [35] と同様の評価法により測定した．セグ

4.1 実験条件
評価には RWC 音楽データベース [28] とその構造アノテーションデータ [29] を用いた．簡単のため，100 曲ある
データのうち曲全体が 4/4 拍子である 85 曲を用いた．提メンテーションの性能は，セクション境界位置に対する F

案法の入力に用いる特徴量として，クロマベクトルには深判断した．適合率は正しく推定された境界の割合，再現率

層特徴量抽出 [30] の結果を用い，MFCC には librosa ライ

は正解の境界のうち正しく推定されたものの割合である．

ブラリ [31] の出力結果を用いた．ビート単位の特徴量を得るため，madmom ライブラリ [32] により得られたビート
情報を用いて平均をとった．セクション長の経験分布 aψemp
は 85 曲に対する leave-one-out 交差検証によって学習し，解析対象の楽曲はこの学習には用いないものとした．パラメータ推定では，ギブスサンプリングを 15 回，ビタビ学習を 3 回反復した．これには標準的な CPU において入力信(0.58)

値 F0.5 ，F0.5(0.58)，F3.0 ，F3.0

により評価した．推定され(0.58)(0.58)
た境界は，F0.5 ，F0.5
では ±0.5 秒，F3.0 ，F3.0
では±3.0 秒の区間に正解データの境界がある場合に正しいと

F 値 F0.5 ，F3.0 は適合率と再現率の調和平均として定義す(0.58)(0.58)，F3.0
は人間の音楽構造の認知と近いとされる評価尺度 [36] である．
る．また，F0.5

P0.5 R0.5
0.582 P0.5 + R0.5
P3.0 R3.0(0.58)
F3.0 = (1 + 0.582 )0.582 P3.0 + R3.0
(0.58)

F0.5= (1 + 0.582 )

(34)
(35)

号長の約 5 倍の時間を要した．提案法のハイパーパラメー

ここで，P0.5 , R0.5 , P3.0 , R3.0 はそれぞれ正解とする幅をタは以下のようにした．NZ = 12, ND = 40, NK = 16,±0.5 秒とした時の適合率と再現率，および正解とする幅を

ϕccaρ = 0.1 · I, aπ = I, aψ = 50 · aψemp , a = I, m0 = E[X ],±3.0 秒とした時の適合率と再現率である．

mβ0c = 8, W0c = (ν0c cov[Xc ])−1 , ν0c = 96, mm
0 = E[X ],β0m = 4, and W0m = (ν0m cov[Xm ])−1 , ν0m = 80．ここで，c 2019 Information Processing Society of Japan⃝

クラスタリングの性能は，次のように定義される F 値

Fpair [37] により評価した．セクション構造の推定結果の6

情報処理学会論文誌

Vol.60 No.7 1–11 (July 2019)

表 1 提案法の性能に関する比較実験の評価結果．最下段は提案法である．
特徴量
クロマ MFCC✓✓(0.58)

F0.5 (%) F0.5

クラスタリング(0.58)(%) F3.0 (%) F3.0(%)

Fpair (%)

一様分布

7.50

8.16

31.3

34.3

27.9

✓

一様分布

24.1

25.0

60.8

62.9

56.5

✓

一様分布

21.9

22.2

56.3

57.2

52.3

経験分布

17.1

17.9

38.9

40.4

29.7

✓

経験分布

39.7

39.9

67.8

68.1

58.0

✓

経験分布

33.0

32.9

58.7

58.2

54.3

✓
✓

セグメンテーション

継続長分布

表 2 ビタビ学習に関する比較実験の評価結果
セグメンテーション

ビタビ学習(0.58)

F0.5 (%) F0.5

クラスタリング(0.58)(%) F3.0 (%) F3.0(%)

Fpair (%)

行わない

32.4

32.3

57.9

57.5

53.5

行う

33.0

32.9

58.7

58.2

54.3

中で同じセクションクラスに割り当てられたフレームのがある．

ペアと，正解データの中で同様に同じセクションクラスに

表 2 はビタビ学習に関する比較実験の結果を示している．

割り当てられたフレームのペアを比較した（フレーム長はビタビ学習を行うことにより全体的に精度が向上した．こ

100 ms とする）．適合率 Ppair ，再現率 Rpair ，および F 値のことから，ビタビ学習の有効性が確認された．

Fpair は以下のように定義する．

表 3 は既存手法との比較実験の結果を示している．SClus-|PE ∩ PA ||PE ∩ PA |, Rpair =
|PE |
|PA |
2Ppair Rpair
Fpair =
Ppair + Rpair(36)

Ppair =

(37)

ter は全ての評価尺度で，三つの既存手法の中では最も精度が高かった．VMO の推定結果の F 値は低く，推定結果には不自然に短いセグメントが多く見られた（図 4）．この結果は MSAF ライブラリの不適切な設定により生じたもここで，PE は推定結果で同じクラスに割り当てられたフのであると考えられる．これら三つの手法と比較して，提レームペアの集合，PA は正解データで同じクラスに割り案手法は全ての評価尺度で有意に優れた性能を示した．

(0.58)

当てられたフレームペアの集合を示す．F0.5(0.58)と F3.0を除くこれらの評価値は mir eval ライブラリ [38] を用い(0.58)て計算した．F0.5(0.58)と F3.0は，mir eval ライブラリを用いて得られた適合率と再現率を用いて計算した．

4.3 分析
最初に，各手法における推定結果の特徴をより詳しく調
べた（図 4）．提案法の結果に対するセクション長の分布
は，正解データに対する分布と特徴が類似している．特に，

4.2 実験結果
表 1 に提案法の性能に関する比較実験の結果を示す．継

どちらの分布も 32 ビート（8 小節）と 16 ビートにおいて続長の規則性に関して，全ての場合において経験分布を解データに対する分布と大きく異なっている．この結果は，用いることで性能が向上した．また，音色の同質性に関しセクションの継続長に関する規則性を捉えるモデリングのて，MFCC を用いる場合はどの評価値においても高い値効果を明確に示している．同様に，セクション境界の拍節を示した．一方，コード進行の反復性に関して，クロマの位置の分布においても，提案法の推定結果に対する分布とみを用いた場合は総じて MFCC のみを用いた場合よりも正解データに対する分布は類似している一方，比較手法の低い値を示しており，さらに MFCC と組み合わせた場合推定結果に対する分布はこれらと大きく異なっている．

ピークを持っている．一方で，比較手法に対する分布は正では MFCC のみを用いた場合よりも性能が低下した．こ

正解データにおけるセクションクラス数は，おおよそ 8の原因として，モデルが二層の潜在状態系列を持つことかから 12 の範囲に分布している．提案法における分布はやら，悪い局所解に陥りやすかった可能性が考えられる．各や低い方に移動しているものの，同様の形状をしている．

コードは 2 拍や 4 拍などの継続長を持つことが多いため，

この結果は，適切なセクションクラス数を自動で見出せる

今後の課題として，下位マルコフ連鎖をセミマルコフモデという提案法の非自明な能力を示すものであるが，実際よルとすることでモデルを精密化すること，そしてパラメー

りもかなり小さいクラス数を推定することもしばしばあっ

タ推定時に状態系列のサンプリングの数を増やして不良なた．一方で，既存手法におけるセクションクラス数の分布

局所解に陥るのを防ぐことが考えられる．これらの手法のははるかにスパースであった．これらの手法の推定結果

改良を行う上で，計算量削減についても検討を進める必要

c 2019 Information Processing Society of Japan⃝7

情報処理学会論文誌

Vol.60 No.7 1–11 (July 2019)

表 3 既存手法との比較実験の評価結果
セグメンテーション

手法(0.58)

7.71

5.32

8.52

5.88

28.5

6.82

37.4

38.6

41.7

SCluster [16]

13.6

14.4

50.4

51.8

45.5

提案法

33.0

32.9

58.7

58.2

54.3

正解

割合 (%)

正解

VMO

VMO

VMO

割合 (%)

セクションクラスの種類数

割合 (%)

拍節位置

CNMF

CNMF

CNMF

割合 (%)

セクションクラスの種類数

割合 (%)

拍節位置

SClusterSClusterSCluster

割合 (%)

セクションクラスの種類数

割合 (%)

拍節位置

拍節位置

割合 (%)

提案法

VMO

CNMF

提案法
下位状態

セクション長 (ビート)

拍節位置

正解

SCluster

セクション長 (ビート)セクション長 (ビート)

Fpair (%)

6.61

セクション長 (ビート)セクション長 (ビート)
提案法

(%)

VMO [34]

割合 (%)

正解

クラスタリング(0.58)(%) F3.0 (%) F3.0

CNMF [15]割合 (%)

割合 (%)

割合 (%)

割合 (%)

割合 (%)

割合 (%)

F0.5 (%) F0.5

再構成クロマ再構成MFCC

セクションクラスの種類数
提案法

入力クロマ
入力MFCC

セクションクラスの種類数 時刻sec

図 4 左側は，推定結果と正解データにおける，セクション長，セクション境界の拍節位置，およびセクションクラス数の分布を示す．右側は提案法および三つの比較手法による推定結果の例を示す（RWC-MDB-P-2001 No. 29）．下位状態系列はビタビアルゴリズムにより得られたものであり，再構成特徴量は対応する出力確率の期待値を示している．

は，全ての曲に対してほとんど同じセクションクラス数を終えることが可能となっている．ここで，出力確率が無視持っていた．特に，CNMF と SCluster の推定結果は，正できるほど自己遷移確率が他の遷移確率よりも非常に大き解データに比べクラス数が小さかった．

くなる場合，自己遷移を繰り返してしまい，その状態のま

これらの解析により，提案法による音楽構造解析結果は，

まセクションが終了してしまうということが考えられる．

比較手法に比べて，人手による解析結果と近い特徴を持つ

これは下位のマルコフ連鎖に対する制約を増やすことで改ことが確かめられた．また，これらの結果は F 値をみる

善できる可能性がある．

だけでは明らかにできないことは重要な点として指摘されさらに，提案法による音楽構造解析結果に含まれる典型

る．このことから，音楽構造解析の評価には F 値だけでは的な誤りについて解析を行った．図 5（a）では，同じク

十分でないことがわかる．

ラスのセクションで，互いに継続長が大きく異なるものが

図 4 に示す結果の例では，これらの傾向を観察できる．

見られる．一般に，ポピュラー音楽では同じクラスのセク

特に，CNMF と SCluster の推定結果は，セクションクラ

ションはほぼ同じ継続長を持つことが多く，この傾向を考ス数が小さく，セクション長も規則的でない．提案法の結慮したモデルを構築することでより正確な解析結果が得ら果では，同じクラスのセクションでは下位モデルの潜在状れると考えられる．また，図 5（b）では，推定結果のセク態系列が似ていることが確認できる．これは提案法では，ション境界が全体的に少し前にずれている．このような誤同じクラスのセクションにおいて，コード進行の反復を捉りを軽減する方法として，新規性を扱い，セクション境界

えられていることを示唆している．また，提案法の推定結における特徴量の変化を捉えることが考えられる．

果ではしばしば一部の下位状態のみを用いていることが見また，wdur を {1, 4, 16, 64} の値で動かしたときの性能へて取れる．提案法では下位のマルコフ連鎖の終了状態につの影響を調査した．表 4 はその結果を示しており，この値

いて制約を与えていないためどの状態でも終了することがの範囲で評価値が最大 10% 程度変化した．wdur のより精でき，極端な場合下位の初期状態のままそのセクションを密な最適化による多少の精度向上の可能性はあるが，そのc 2019 Information Processing Society of Japan⃝8

情報処理学会論文誌

Vol.60 No.7 1–11 (July 2019)

ことができ，音楽的に重要な特性である反復性やセクショ

正解

ン長の分布をベイズ拡張により取り入れた．実験結果か(a)ら，提案法により従来の代表的手法と比べて有意に優れた
セグメンテーションとクラスタリングの精度が得られるこ

推定結果
sec

時刻

とを確認したが，反復性による性能向上は認められなかった．また，提案法による解析結果が人手による解析結果と正解類似する統計的性質を持つことを確かめた．

(b)

今後は反復性のモデルへの取り入れ方の改善を行うとと推定結果

もに，新規性の側面をモデルに取り込む改良を計画してい

sec

時刻

図 5 推定結果に含まれる典型的な誤り．（a）RWC-MDB-P-2001

No. 24．（b）RWC-MDB-P-2001 No. 29．

セグメンテーション

F0.5 (%)

グループというように階層構造を持つ [40] ことから，より多くの階層を扱えるように拡張することも重要である [16]．
教師なし学習に基づく提案法は，深層識別モデル [6–8] に

表 4 wdur による性能への影響

wdur

る．また，音楽は動機，フレーズ，セクション，セクション

1

4

16

64

27.9

33.0

25.7

23.7

基づく統計手法と相補的な関係にある．そこで，VAE（変分自己符号化）[22] の枠組みを用いてこれらのモデルを統合する方向性が有望であると考えられる．
謝辞

ほかのハイパーパラメータと同様に今後の課題とする．

本 研 究 の 一 部 は ，科 研 費 No. 19H04137，

No. 19K20340，No. 16H01744 お よ び JST ACCEL
No. JPMJAC1602 の支援を受けた．

4.4 議論本手法ではビートトラッキングの結果を入力の一部として用いているため，そこでの誤推定は本手法の推定結果に

参考文献
[1]

影響を与える．ビートトラッキングにおける典型的な誤りには推定テンポが正解の半分や倍となるものがあり，その場合，本手法により正解の半分や倍の長さを持つセクショ[2]ンが推定される可能性がある．しかし，最新のビートト
ラッキング手法の精度はポピュラー楽曲に対して 80% 後
半から 90% 前半程度であり [39]，ビートトラッキングで[3]の誤りによる本手法の性能に対する影響は小さいと考えられる．また，セクション長の経験分布は図 4 中の正解デー
タにおける分布に見るように，ピーク位置のビート数の半[4]分や倍のビート数においてもある程度の確率値を持つ．そのため，ビートトラッキングで誤推定があっても，本手法ではセクションを正しく推定することがある程度は可能である．今後の拡張として，ビートトラッキングを前処理と[5]して使用せずに，音楽構造と同時にビート位置も推定することが考えられる．このような同時推定によって，典型的[6]

なセクション長のビート数の事前情報をビートトラッキン
グに取り入れることで，ビートトラッキングと構造解析の両方の精度が改善される可能性がある．

5. 結論

[7]

本稿では，セクション内およびセクション間の構造を統一的に記述するベイズ HHSMM に基づく統計的音楽構造
解析手法について論じた．音楽のセクションに関する三つの重要な側面である同質性，反復性，および規則性を取り入れたモデルを構築した．音楽のセグメンテーションとク
ラスタリングは教師なしベイズ学習に基づいて同時に行う

c 2019 Information Processing Society of Japan⃝[8]

Paulus, J., Müller, M. and Klapuri, A.: State of the
Art Report: Audio-Based Music Structure Analysis,
International Society for Music Information Retrieval
Conference (ISMIR), pp. 625–636 (2010).
Foote, J.: Automatic Audio Segmentation Using a
Measure of Audio Novelty, IEEE International Conference on Multimedia and Expo (ICME), pp. 452–455(2000).
Jensen, K.: Multiple Scale Music Segmentation Using
Rhythm, Timbre, and Harmony, EURASIP Journal
on Applied Signal Processing, Vol. 2007, No. 1, pp.
159–159 (2007).
Serrà, J., Müller, M., Grosche, P. and Arcos, J.: Unsupervised Detection of Music Boundaries by Time
Series Structure Features, International Society forMusic Information Retrieval Conference (ISMIR), pp.
1613–1619 (2012).
Peeters, G. and Bisot, V.: Improving Music Structure
Segmentation Using Lag-Priors, International Society
for Music Information Retrieval Conference (ISMIR),
pp. 337–342 (2014).
Ullrich, K., Schlüter, J. and Grill, T.: Boundary Detection in Music Structure Analysis Using Convolutional Neural Networks, International Society for Music Information Retrieval Conference (ISMIR), pp.
417–422 (2014).
Grill, T. and Schlüter, J.: Music Boundary Detection Using Neural Networks on Combined Features
and Two-Level Annotations, International Society forMusic Information Retrieval Conference (ISMIR), pp.
531–537 (2015).
Maezawa, A.: Music Boundary Detection Based ona Hybrid Deep Model of Novelty, Homogeneity, Repetition and Duration, IEEE International Conferenceon Acoustics, Speech and Signal Processing (ICASSP),
pp. 206–210 (2019).

9情報処理学会論文誌

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

Vol.60 No.7 1–11 (July 2019)

Sargent, G., Bimbot, F. and Vincent, E.: Estimating the Structural Segmentation of Popular Music
Pieces Under Regularity Constraints, IEEE Transactions on Audio, Speech and Language Processing(TASLP), Vol. 25, No. 2, pp. 344–358 (2017).
Kaiser, F. and Peeters, G.: A Simple Fusion Methodof State And Sequence Segmentation for Music Structure Discovery, International Society for Music Information Retrieval Conference (ISMIR), pp. 257–262(2013).
Aucouturier, J.-J. and Sandler, M.: Segmentation ofMusical Signals Using Hidden Markov Models, Audio Engineering Society (AES) Convention, pp. 1–8(2001).
Cooper, M. and Foote, J.: Summarizing Popular Music via Structural Similarity Analysis, IEEE Workshop on Applications of Signal Processing to Audioand Acoustics (WASPAA), pp. 127–130 (2003).
Goodwin, M. M. and Laroche, J.: A Dynamic
Programming Approach to Audio Segmentation andSpeech/Music Discrimination, IEEE International
Conference on Acoustics, Speech, and Signal Processing (ICASSP), pp. 309–312 (2004).
Grohganz, H., Clausen, M., Jiang, N. and Müller, M.:
Converting Path Structures Into Block Structures Using Eigenvalue Decompositions of Self-Similarity Matrices, International Society for Music Information
Retrieval Conference (ISMIR), pp. 209–214 (2013).
Nieto, O. and Jehan, T.: Convex Non-negative Matrix
Factorization for Automatic Music Structure Identification, IEEE International Conference on Acoustics,
Speech and Signal Processing (ICASSP), pp. 236–240(2013).
McFee, B. and Ellis, D. P. W.: Analyzing Song Structure with Spectral Clustering, International Society
for Music Information Retrieval Conference (ISMIR),
pp. 405–410 (2014).
Ren, L., Dunson, D., Lindroth, S. and Carin, L.: Dynamic Nonparametric Bayesian Models for Analysis ofMusic, Journal of the American Statistical Association(JASA), Vol. 105, No. 490, pp. 458–472 (2008).
Barrington, L., Chan, A. B. and Lanckriet, G.: Modeling Music as a Dynamic Texture, IEEE Transactions
on Audio, Speech and Language Processing (TASLP),
Vol. 18, No. 3, pp. 602–612 (2010).
Goto, M.: A Chorus Section Detection Method forMusical Audio Signals and Its Application to a Music Listening Station, IEEE Transactions on Audio,
Speech, and Language Processing (TASLP), Vol. 14,
No. 5, pp. 1783–1794 (2006).
Paulus, J. and Klapuri, A.: Music Structure Analysis Using a Probabilistic Fitness Measure and a
Greedy Search Algorithm, IEEE Transactions on
Audio, Speech and Language Processing (TASLP),
Vol. 17, No. 6, pp. 1159–1170 (2009).
Cheng, T., Smith, J. B. L. and Goto, M.: Music Structure Boundary Detection and Labelling by a Deconvolution of Path-Enhanced Self-Similarity Matrix, International Society for Music Information Retrieval Conference (ISMIR), pp. 106–110 (2018).
Kingma, D. P. and Welling, M.: Auto-Encoding Variational Bayes, International Conference on Learning
Representations (ICLR), pp. 1–14 (2014).
Shibata, G., Nishikimi, R., Nakamura, E. and Yoshii,
K.: Statistical Music Structure Analysis Based on ac 2019 Information Processing Society of Japan
⃝

[24]

[25]

[26]

[27]
[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

Homogeneity-, Repetitiveness-, and Regularity-Aware
Hierarchical Hidden Semi-Markov Model, International Society for Music Information Retrieval Conference (ISMIR), pp. 268–275 (2019).
Smith, J. B. L. and Goto, M.: Using Priors to Improve
Estimates of Music Structure, International Society
for Music Information Retrieval Conference (ISMIR),
pp. 554–560 (2016).
Levy, M. and Sandler, M.: New methods in structuralsegmentation of musical audio, European Signal Processing Conference (EUSIPCO), pp. 1–5 (2006).
Allahverdyan, A. and Galstyan, A.: Comparative
Analysis of Viterbi training and Maximum Likelihood Estimation for HMMs, Advances in Neural Information Processing Systems (NIPS), pp. 1674–1682(2011).
Yu, S.-Z.: Hidden Semi-Markov Models, Artificial Intelligence, Vol. 174, No. 2, pp. 215–243 (2010).
Goto, M., Hashiguchi, H., Nishimura, T. and Oka, R.:
RWC Music Database: Popular, Classical and Jazz
Music Databases, International Conference on Music
Information Retrieval (ISMIR), pp. 287–288 (2002).
Goto, M.: AIST Annotation for the RWC Music
Database, International Conference on Music Information Retrieval (ISMIR), pp. 359–360 (2006).
Wu, Y. and Li, W.: Automatic Audio Chord Recognition With MIDI-Trained Deep Feature and BLSTMCRF Sequence Decoding Model, IEEE/ACM Transactions on Audio, Speech and Language Processing(TASLP), Vol. 27, No. 2, pp. 355–366 (2019).
McFee, B., Raﬀel, C., Liang, D., Ellis, D. P. W.,
McVicar, M., Battenberg, E. and Nieto, O.: librosa:
Audio and Music Signal Analysis in Python, Python
in Science Conference, pp. 18–24 (2015).
Böck, S., Korzeniowski, F., Schlüter, J., Krebs, F. andWidmer, G.: madmom: A New Python Audio andMusic Signal Processing Library, ACM International
Conference on Multimedia (ACMMM), pp. 1174–1178(2016).
Nieto, O. and Bello, J. P.: Systematic Exploration
Of Computational Music Structure Research, International Society for Music Information Retrieval Conference (ISMIR) (2016).
Wang, C.-i. and Mysore, G. J.: Structural Segmentation with the Variable Markov Oracle and Boundary Adjustment, IEEE International Conference on
Acoustics, Speech and Signal Processing (ICASSP),
pp. 291–295 (2016).
Ehmann, A. F., Bay, M., Downie, J. S., Fujinaga,
I. and Roure, D. D.: Music Structure Segmentation
Algorithm Evaluation: Expanding on MIREX 2010
Analyses and Datasets, International Society for Music Information Retrieval Conference (ISMIR), pp.
561–566 (2011).
Nieto, O., Farbood, M. M., Jehan, T. and Bello, J. P.:
Perceptual analysis of the f-measure for evaluating
section boundaries in music, International Society forMusic Information Retrieval Conference (ISMIR), pp.
265–270 (2014).
Levy, M. and Sandler, M.: Structural Segmentationof Musical Audio by Constrained Clustering, IEEE
Transactions on Audio, Speech, and Language Processing (TASLP), Vol. 16, No. 2, pp. 318–326 (2008).
Raﬀel, C., McFee, B., Humphrey, E. J., Salamon, J.,
Nieto, O., Liang, D. and Ellis, D. P. W.: mir eval: A

10情報処理学会論文誌

[39]

[40]

Vol.60 No.7 1–11 (July 2019)

Transparent Implementation of Common MIR Metrics, International Society for Music Information Retrieval Conference (ISMIR) (2014).
Böck, S., Krebs, F. and Widmer, G.: Joint Beat andDownbeat Tracking with Recurrent Neural Networks,
International Society for Music Information Retrieval
Conference (ISMIR), pp. 255–261 (2016).
Lerdahl, F. and Jackendoﬀ, R.: A Generative Theoryof Tonal Music, MIT Press (1983).

柴田 剛 （学生会員）
2019 年京都大学工学部情報学科卒業．
同年より同大学大学院情報学研究科知能情報学専攻修士課程在学．音楽情報処理の研究に従事．

錦見 亮 （学生会員）
2018 年京都大学大学院情報学研究科
知能情報学専攻修士課程修了．同年より同専攻博士後期課程在学．音楽情報処理の研究に従事．2017 年 第 116 回
音楽情報科学研究会 学生奨励賞, 平成

30 年度 山下記念研究賞受賞．

中村 栄太 （正会員）
2012 年東京大学大学院理学系研究科
物理学専攻博士課程修了．博士（理学）．国立情報学研究所，明治大学，京都大学などで研究員を経て，2019 年
から京都大学白眉センター特定助教．
音楽知能情報の研究に従事．

吉井 和佳 （正会員）
2008 年京都大学大学院情報学研究科
博士後期課程修了．同年産業技術総研
究所情報技術研究部門に入所．2018
年京都大学大学院情報学研究科准教授に着任．音楽情報処理，統計的音響信
号処理の研究に従事．博士（情報学）．

c 2019 Information Processing Society of Japan⃝

11