言語処理学会 第27回年次大会 発表論文集 (2021年3月)

歌詞のサビ区間検出手法
渡邉研斗 後藤真孝
産業技術総合研究所 (AIST){kento.watanabe, m.goto}@aist.go.jp

1

はじめに

ポ ピ ュ ラ ー 音 楽 に お け る「サ ビ」と は，楽 曲中で最も繰り返され記憶に残る区間である[1]．音 楽 情 報 処 理 の 分 野 で は，音 響 信 号 に 基 づ
くサビ区間検出手法が活発に研究されてきたが[2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 1, 18, 19]，
歌詞テキストに基づいた検出手法はこれまで提案されていない．
本研究の目的は，歌詞を入力したときに，そのサ
ビ区間を自動的に検出することである．テキストのみからサビ区間を検出可能かどうかは自明ではな
く，学術的な視点からも興味深い．更に，様々な検索システムで歌詞に基づくサビ検出技術が有用である．例えば，音楽視聴者が “I love you” などの特定のフレーズを含むサビを探したいとき，検索システム
は歌詞のサビ区間の位置を知っている必要がある．
本研究では，英語・日本語の歌詞のサビ区間を検出する教師ありモデルを提案する．本モデルは，歌詞の繰り返しパターンを表す構造的特徴量と，サビ区間特有のフレーズを表す言語的特徴量の両方を考慮する．また，教師あり学習に必要となる訓練デー
タを大量に用意するために，我々は歌唱時刻で同期された音響信号-歌詞のアライメントデータを利用
し，1 万曲以上の歌詞に教師ラベルを自動付与した．
実験では，提案特徴量の有効性や，自動付与した教師ラベルの有用性，英語と日本語のサビ区間に対する言語依存性など，様々な観点から検出タスクや歌
詞のサビ区間の性質を調査した．

2

歌詞のサビ区間検出タスク

図 1 はサビ区間のラベルが付与された歌詞の例
である．本タスクでは，入力歌詞には A メロ・B メ
ロ・サビ区間の境界（空行）が一切存在しないと仮定し，全ての歌詞から空行を取り除いた．
本研究では，サビ区間検出タスクを系列ラベリング問題として定式化する．つまり，歌詞の各行の サ ビ お よ び 非 サ ビ の ラ ベ ル を 予 測 す る．𝑋𝑠 は𝑇 行のテキスト {𝑥1 , ..., 𝑥 𝑡 , ..., 𝑥𝑇 } で構成される曲 𝑠の歌詞である．各行 𝑥 𝑡 はバイナリラベル 𝑦 𝑡 を持
つ．𝑦 𝑡 = 1 のとき 𝑥 𝑡 はサビであり，𝑦 𝑡 = 0 のとき 𝑥 𝑡
は非サビである．𝑌𝑠 は 𝑋𝑠 に対応するラベル系列{𝑦 1 , ..., 𝑦 𝑡 , ..., 𝑦𝑇 } である．モデルの訓練では，条件付き確率 𝑃(𝑌𝑠 |𝑋𝑠 ) を学習する．モデルの評価では，訓練されたモデルは入力された行の系列 𝑋𝑠 のラベ
ル系列 𝑌𝑠 予測する．
図 1 の例では，サビ区間は完全一致の繰り返しであるが，繰り返される行を抽出するだけではサビ区間の検出は困難である．例えば，図 1 の 9–12 行と21–24 行は完全一致であるがサビ区間ではない．また，様々なバリエーションのサビ区間を検出する
ルールの作成も難しい．本研究では，様々な種類のサビ区間に対応するための特徴量を設計する．

3

歌詞のサビ区間のモデル化

本研究では，音響信号に基づくサビ区間検出手法で用いられる自己類似行列 (SSM) をテキストに応用することで，歌詞の繰り返しパターンを捉えた構造的特徴量を設計する．更に単語・文脈ベクトルを用いることで，サビ特有のフレーズを捉えた言語的特徴量を設計する．
以下の節では，まず歌詞の繰り返しパターンを表した SSM と，それらを構造的特徴量としてベクトル化する方法について説明する．次に word2vec[21]と context2vec[22] を用いて歌詞の意味的・統語的な情報をベクトル化することで得られる言語的特徴量について説明する．最後に，これら構造的・言語的
特徴量を用いたニューラルネットワーク (NN) ベースの系列ラベリングモデルについて説明する．

3.1

構造的特徴量

これまで音響信号に基づく音楽解析の研究では，
図 1 に示したような SSM を用いて繰り返される A
メロやサビ区間を検出してきた．繰り返される区間― 293 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Text (a sequence of lines 𝑥 ! in lyrics)

Label 𝑦!

1: ooo I wanna kiss you
2: loving you is my dream tonight
3: ooo hold me tenderly
4: loving me with all your heart
5: boy you never tell me that you love me
6: I'm going crazy wondering about you baby
7: do you really know boy how much I care
8: could you really show me how deep is your love ?
9: just close you eyes and hear my heart
10: the sweet sweet beat of my love
11: can't you tell I'm hungry baby
12: for only you can make me smile
13: ooo I wanna kiss you
14: loving you is my dream tonight
15: ooo hold me tenderly
16: loving me with all your heart
17: can't you understand me my point of view
18: do you really love me beyond all words
19: I just need to hear now from your sweet lips
20: I'm the only girl you ever want to kiss
21: just close your eyes and hear my heart
22: the sweet sweet beat of my love
23: can't you tell I'm hungry baby
24: for only you can make me smile
25: just close your eyes and hear my heart
26: the sweet sweet beat of my love
27: can't you tell I'm hungry baby
28: for only you can make me smile
29: ooo I wanna kiss you
30: loving you is my dream tonight
31: ooo hold me tenderly
32: loving me with all your heart

サビ (1)
サビ (1)
サビ (1)
サビ (1)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
サビ (1)
サビ (1)
サビ (1)
サビ (1)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
非サビ (0)
サビ (1)
サビ (1)
サビ (1)
サビ (1)

Self-similarity Matrix
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

図1

サビラベル付きの歌詞（RWC 研究用音楽 DB No.81[20]）と自己類似行列の例．各セルは行同士の類似度を表す．

は行列内で高い値を持つ斜線として表現され，この異なっていても同じ音節数であることがあるため，

斜線のパターンが構造検出の手がかりとして使わ

各行で単語の音節数の系列を利用する．例えば，れてきた．本研究ではこの SSM による手法をテキ

歌詞 “Sometimes you lost yourself away” と “Everytime

ストに応用することで，歌詞の繰り返しパターンを

you just close your eyes” の音節数の系列はそれぞれ捉える．ただし，SSM 内の各セルの類似度計算に{2, 1, 1, 2, 1} と {2, 1, 1, 1, 1, 1} である．これらの音節

よって，捉えられる繰り返しパターンが大きく異なるため，類似度の設計が重要となる．そこで本研究

数系列が類似している場合，繰り返しの可能性がある．本研究では動的時間伸縮法 (DTW)[25] を用い

では，以下の 9 種類の類似度を設計する．

て，音節数系列間の類似度を計算する．

文字列類似度 行同士の標準化編集距離 [23]．

行の音節数類似度 本研究では各行内の全単語の合

先頭語類似度 各行の先頭単語間の標準化編集距離．

計音節数も使用する．例えば，図 1 に示されている

末尾語類似度 各行の末尾単語間の標準化編集距離．

全サビ区間では，最初の行の合計音節数は 6 であ発音類似度 押韻による繰り返しを捉えるために，発り，2 行目の合計音節数は 8 である．次の手順によ

音記号の系列間の標準化編集距離を計算する．本研

り，各行ペアの合計音節数の類似性を計算する．(1)

究では CMU 発音辞書を用いて英語歌詞の発音記号連続した 4 行 𝐿 𝑡 = {𝑥 𝑡 , 𝑥 𝑡+1 , 𝑥 𝑡+2 , 𝑥 𝑡+3 } を抽出する．

を抽出する．

(2) 行 𝑥 𝑡 と 𝑥 𝑡 ′ 間の類似度を 𝐿 𝑡 と 𝐿 𝑡 ′ の合計音節数

品詞類似度 文法構造の類似度を計算するために，品の DTW によって計算する．

詞系列間の標準化編集距離を計算する．本研究では本研究で 9 種類の SSM を上記の類似度を用いて

NLTK の品詞解析器 [24] を用いる．

計算する．SSM は A𝑚 ∈ ℝ𝑇 ×𝑇 で表し，𝑚(1 ≤ 𝑚 ≤ 9)

単語ベクトル類似度 行同士の意味的類似性を捉えは 類 似 度 の 種 類 を 意 味 す る．次 に，SSM か ら 特るために，本研究では訓練済みの word2vec を用い

徴 量 を 計 算 す る た め に，本 研 究 で は 畳 み 込 みニューラルネットワーク (CNN) を用いる（図 2）．

て，各行内の単語ベクトルを平均し，それらのコサ
イン類似度を計算する．ただし，bag of words を仮

各 SSM か ら タ ー ゲ ッ ト と な る 行 を 中 心 と し た

定したこの類似度では語順の違いを区別できない．

固 定 窓 幅 𝑤 の 部 分 行 列 を 抽 出 す る．こ こ で 部 分

文 脈 ベ ク ト ル 類 似 度 語 順 を 考 慮 す る た め に，

行列は a𝑡𝑚 = A𝑚 [𝑡 − 𝑤 + 1, ..., 𝑡 + 𝑤; 1, ..., 𝑇] ∈ ℝ2𝑤×𝑇

word2vec を LSTM を用いて拡張した context2vec をで 表 す．CNN へ 入 力 す る の は 9 つ の 部 分 行 列

用いて，各行の単語列を LSTM でベクトル化し，コ{a𝑡𝑠𝑡𝑟 , ..., a𝑡𝑠𝑦𝐿 } ∈ ℝ2𝑤×𝑇 ×9 であり，チャンネルの数はサイン類似度を計算する．

SSM の数に対応する．最初の 2D 畳み込み層のカー

単語の音節数類似度 サビ区間の歌詞は，単語が全く

ネルサイズは (𝑤 + 1) × (𝑤 + 1) であるため，SSM 内の― 294 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ription of lines. For example the phonetic
line “I love you” is [AY1, L, AH1, V, Y,

Figure 3. Convolutional Neural Network to vectorize
SMMs.

…

…

milarity (simpos ): To capture similarial structure, we calculate a normalized(CNN) architecture, as the same as Fell et al, which allows
istance between the sequence of part-ofthe neural network to extract translation, scaling, and rotas.
tion invariant features anywhere on the input image. Ourarity (simw2v ): To capture the semantic
study shares the same motivation to capture chorus sections
n two lines, we simply average words’
from various SSM patterns, regardless of SSM location andusing pre-trained word2vec embeddings
relative size.
自己類似行列sine similarity.
This CNN structure is illustrated in Figure 3. After the
milarity (simc2v ): The average of word
SSMs are calculated, we extract fixed window sub-matrices
ec assumes a “bag of words” (i.e., thecentered on the target line:
n “dog bites person” and “person bitest
Sm= SSMm [t w + 1, ..., t + w] 2 R2w⇥T , where w
ptured in this assumption). To consider
extract fixed
is a fixed window size. The input of the CNN is nine subctorize the lines using
pre-trained
conwindow sub-matrixtt⇥9
matrices{Sstr, {𝐚...,"!"#
SsyL
R2w⇥T, where the number
部分行列, …}, 𝐚2"!$%} ∈ ℝ&'×)×*sion of word2vec, which encodes linesof
SSMs
indicatethenumberofchannels.
The kernel size
compute similarity simc2v using cosineof the first convolutional layer is (w + 1) ⇥ (w + 1) so thateach feature can capture a prospective chorus section. In
unt similarity (simsyW ): As a clue forthis network, all convolutional layers employ batch normalections, we use the sequence of word
ization and the ReLU activation function. Each resulting
each line. For example, word syllable
tensor is downsampled by max-pooling with w ⇥ w kernels “Sometimes you lost yourself
away”
2D-convolution
layer (p = 0.1)
u just close your eyes” are {2, 1, 1, 2,+1}ReLU size. After max pooling, we use a dropout
max poolingfor regularization. Then, we apply the 1D convolutional} respectively 1 ; lines that have a similar
layer with a kernel
sizesize:of w and downsample by the vector
Kerneluence are likely to be the same sectionof each channel in the last max-pooling layer. We performstudy, we use Dynamic Time Warpingthe above procedure independently for each line𝒗x𝑡t andte the similarity between sequencesof
Kernel size
obtain the CNN-based feature vector v t .
uch as syllable count sequences.
1D-convolution+ ReLUnt similarity (simsyL ): We can also use max pooling
3.2 Linguistic Features
llable counts of all words in each line.
he lyrics of Figure 1, the total syllable
Some linguistic expressions tend to appear in chorus rela図 2 SSM のための畳み込みニューラルネットワーク．
ine in the chorus section is all six, buttionships. For example, analyzing lyric data with chorus
count in the second line is eight. Formarkup, we found that phrases about the future such as
ted the similarity of斜線の端を捉えることができる．ここで得られたテ
the total syllable“I’ll”, “Let’s” and “I wanna” tend to appear in the chorus
in the following procedure. (1) We shiftsection, while phrases
the max
past suchas “haveに
been”
ンソルはカーネルサイズが𝑤 ×about
𝑤のpoolinglines over lyrics andextract four lines
and “didn’t” tend to appear less in the chorus section. To
t+2 , xt+3 }. (2) The similarity between
exploit such a linguistic expression of the chorus section,
よってダウンサンプルされる．次にカーネルサイズ
is calculated by the DTW of Lt and Lt0 .
we propose two linguistic features.
nine self-similarity matrices
2が 𝑤 のSSM
1Dm畳み込み層を適用し，最後にpooling
Average of word vectors (wordave ):max
We useaverage ofcell is a similarity measure as describedtheword
vectors
of
a
given
line
as
features.
In this study,
によってダウンサンプルする．各畳込み層の活性化
alculate feature vectors
from the above
the average of word vectors using pre-trained word2vec,
ploit the Convolutional Neural Network
skipping out-of-vocabulary words.

関数には ReLU を使用する．上記手順を歌詞の各行

Vector representations for word sequences (wordseq ):𝑥 𝑡 に実行し，構造的特徴量
𝒗 𝑡 beを計算する．
Word order cannot
modeled by the average of word

the RWC Music Database (RWC-MDB-P-2001

3.2

言語的特徴量ここで Score は以下の式で定義される．
Score(𝑋𝑠 , 𝑌𝑠 ) =∑𝑇𝑡

BN(ℎ𝑡 [𝑦 𝑡 ]),(2)

ここで ℎ𝑡 [𝑦 𝑡 ] は位置 𝑡 の Bi-LSTM の出力であり，
BN はバッチ正規化 [27] であり，ロス関数はクロス
エントロピーを用いる．

実験

4

音響信号ベースのサビ検出の研究 [1] を参考にして，F-measure を用いて提案手法を評価した．ここで F-measure は (2 · 𝑅 · 𝑃)/(𝑅 + 𝑃) で計算され，各 𝑅と 𝑃 は以下の式で計算される．
𝑃 = 正しく検出されたサビ区間内の行数 .
サビ区間として検出された行数

𝑅 = 正しく検出されたサビ区間内の行数 .
正解のサビ区間の行数

更 に，音 楽 構 造 解 析 の 評 価 で 広 く 用 い ら れ る
Python パ ッ ケ ー ジ mir_eval[28] を 用 い て，pairwise F-measure (𝑝-𝐹)，normalized conditional entropy
F-measure (𝑛-𝐹)，V-measure を計算した．

4.1

モデルパラメータ

窓幅は 3 とし，2D および 1D 畳み込み層のカーネ
ル数をそれぞれ 200 と 400 とした．Bi-LSTM の隠れ

サビ区間に出現しやすい歌詞のフレーズを調査す

層の次元を 600 とした．word2vec と context2vec の次るため，サビ区間と非サビ区間の単語トライグラム

元数は 300 として，歌詞データを用いて事前訓練しの差を計算した．その結果，“I’ll” や “Let’s” などの未来に関するフレーズがサビ区間に頻出し，“havebeen” や “didn’t” などの過去に関するフレーズが非た．パラメータの最適化には AdamW[29] を使用し，学習率は 0.001，バッチサイズは 64 とした．訓練は100 エポック行い，開発セットにおける最も高い

サビ区間で頻出することがわかった．この傾向を利F-measure であるエポックのモデルを評価に用いた．

用するために，以下の特徴量を設計する．

4.2

単語ベクトルの平均 行内の単語を訓練済み word2vec

データセットを用いてベクトル化し，その平均を特徴量とする．

各行がサビかどうかを予測する教師ありモデルを

単語列のベクトル表現 訓練済み context2vec を用い訓練するためには，図 1 に示したような行単位で教て行をベクトル化したものを特徴量とする．

師ラベルを持つ大量の歌詞データが必要となる．本

歌詞の各行 𝑥 𝑡 について上記べクトルを計算し，それらを連結した言語的特徴量 𝒖 𝑡 を得る．

研究では以下の手順によって歌詞データの各行にNN ベースの系列ラベリングモデル

100,772 曲だけ用意した．(2) 音響信号ベースのサビ本研究では，標準的な双方向 LSTM (Bi-LSTM)[26]区間検出手法 [1] を用いて，サビ区間の開始時刻と3.3を用いて，条件付き確率 𝑃(𝑌𝑠 |𝑋𝑠 ) を計算する．位置𝑡 での Bi-LSTM 層への入力は構造的特徴量 𝒗 𝑡 と，言語的特徴量 𝒖 𝑡 の連結ベクトルである．条件付き確率 𝑃(𝑌𝑠 |𝑋𝑠 ) は softmax 関数を用いて計算される：
𝑠 ,𝑌𝑠 )).
𝑃(𝑌𝑠 |𝑋𝑠 ) = ∑ exp(Score(𝑋′ exp(Score(𝑋𝑠 ,𝑌𝑠′ ))𝑌𝑠

教師ラベルを自動付与した．(1) 我々は歌唱時刻で同期された音響信号-歌詞のアライメントデータを

終了時刻を検出した．(3) 音響信号から検出された
サビ区間内に存在する歌詞の行にサビラベルを付与した．本研究では 9,313 曲の英語歌詞と，91,459 曲の日本語歌詞に教師ラベルを自動付与し，それぞれのデータを EN_auto と JA_auto と呼ぶ．

(1)

パラメータ調整や評価のために，信頼性の高い教― 295 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表1

実験結果：構造的・言語的特徴量の重要性．

表3

特徴量

EN_auto / EN_test
𝐹𝑝-𝐹

JA_auto / JA_test
𝐹

𝑝-𝐹

𝑛-𝐹

実験結果：訓練データサイズと言語依存性．

訓練データ

テストデータ𝐹

𝑝-𝐹

EN_auto (9,313 曲)

EN_test77.9

76.1 48.6 45.5

訓練データ / テストデータ

𝑛-𝐹

𝑉

𝑛-𝐹

𝑉

𝑉

JA_auto (91,459 曲)

EN_test80.3

80.6 58.1 54.4

構造的特徴量言語的特徴量77.9 76.1 48.6
57.4 59.9 16.5

45.5
6.9

81.2 82.7
55.2 61.8

63.6 59.6
22.1 16.7

EJ_auto (100,772 曲)

EN_test81.0

82.3 60.7 57.4

両方の特徴量78.1 77.7 50.8

47.3

83.4 83.5

64.9 61.4

4.5
表2

実験結果：自動付与した教師ラベルの信頼性．

𝐹

𝑝-𝐹

𝑛-𝐹

𝑉

JA_auto (91,459 曲) 83.4

83.5

64.9

61.4

JA_man (1,103 曲)

77.3

53.3

50.4

訓練データ

80.3

では，大量の日本語データで訓練されたモデルが，英語のサビ区間をより正確に検出できるかどうか(a) 訓練の比較用データ自動付与した教師ラベルが訓練において信頼できるか検証するために，比較用
訓練データとして 1,103 曲の日本語歌詞に教師ラベ
ルを手動で付与した．このデータを JA_man と呼ぶ．
(b) モデルパラメータの調整用データ我々は RWC 研
究用音楽データベースの英語 21 曲と日本語 79 曲の歌詞にラベルを手動で付与し，このデータをモデル
パラメータの調整用に使用した．
(c) テストデータ 118 曲の英語歌詞と 128 曲の日本語
歌詞にラベルを手動で付与し，それぞれを EN_testと JA_test と呼ぶ．これらはサビ区間検出手法の評
価のために使用した．

で訓練されたモデルが，英語データで訓練されたモデルよりも，英語のサビ区間を検出できることがわかった．更に，英語と日本語をあわせたデータ(EJ_auto) で訓練されたモデルの性能が最も優れてい
ることがわかった．これらの結果は (1) 異なる言語で訓練されたモデルでもサビ区間を検出できること，(2) 歌詞の繰り返しパターンは言語に依存しな
いこと，(3) 異なる言語データを混合することでサ
ビ区間の検出性能が向上することを意味する．これは，少リソースの言語データであっても，利用可能
できる可能性があることを意味する．

1 より，構造的特徴量のみを使ったモデルは，言語的特徴量のみを使ったモデルよりも大幅に優れることがわかった．また，両特徴量を使用することで性能が更に向上した．これらの結果は，音響信号のサ
ビ区間検出で用いられる SSM を歌詞に応用することの重要性を示すだけでなく，言語的特徴量の追加
が歌詞のサビ区間検出に役立つことを示している．

自動付与した教師ラベルの信頼性

教 師 ラ ベ ル を 大 量 に 自 動 付 与 し た JA_auto と，
教師ラベルを少量だが手動付与した JA_man の訓練データとしての性能を比較をする．表 2 より，
JA_auto で訓練したモデルが JA_man で訓練したモデルよりも高性能であることがわかる．この結果
は，教師ラベルが自動的に付与されたものであっても，十分なデータサイズであればモデルの訓練において十分な信頼性を持つことを意味する．

調査した．なお本実験では，構造的特徴量のみを考慮したモデル1）を用いる．表 3 より，日本語データ

な他言語リソースと混ぜることで，サビ区間が検出

構造的・言語的特徴量の重要性

構造的・言語的特徴量の有効性を調査するために，各特徴量を用いたモデルの性能を比較した．表4.4

表 1 より，英語モデルよりも日本語モデルの方が性能が良いことがわかるが，これは訓練データの量が大きく異なるためだと考えられる．そこで本研究師ラベルを持つ 3 つの歌詞データを用意した．

4.3

訓練データサイズと言語依存性

おわりに

5

本論文は楽曲のサビ区間を歌詞のみから検出するという新しいタスクと，その手法を提案した．本研
究の貢献は以下である：(1) サビ区間の構造的及び言語的特性を捉えるために，様々な特徴量を設計した．(2) 歌詞のサビ区間を検出する系列ラベリング
モデルを提案した．(3) サビ区間の注釈付きの大規
模な訓練データセットを作成する手法を示した．(4)
特徴量の重要性，訓練データの量，言語依存性などの様々な観点から，検出タスクや歌詞のサビ区間の性質を調査した．今後は A メロや B メロなどの区間も検出できるように手法を拡張する．
謝辞 本研究は，RWC 研究用音楽データベースと，
株式会社シンクパワーから提供された歌詞データを利用した．また，本研究は JST ACCEL (JPMJAC1602)
および科研費 (20K19878) の支援を受けた．
1） SSM は繰り返しのパターンを表した行列に過ぎないため，異なる言語であってもモデルへの入力が実装上可能である．

― 296 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Masataka Goto. A chorus section detection method for musical audio signals and its application to a music listening
station. IEEE Transactions on Audio, Speech, and Language Processing, Vol. 14, No. 5, pp. 1783–1794, 2006.
[2] Go Shibata, Ryo Nishikimi, Eita Nakamura, andKazuyoshi Yoshii. Statistical music structure analysis
based on a homogeneity-, repetitiveness-, and regularityaware hierarchical hidden semi-markov model. In Proceedings of ISMIR 2019, pp. 268–275, 2019.
[3] Akira Maezawa. Music boundary detection based on a
hybrid deep model of novelty, homogeneity, repetition andduration. In Proceedings of IEEE ICASSP 2019, pp. 206–
210, 2019.
[4] Gabriel Sargent, Frédéric Bimbot, and Emmanuel Vincent.
Estimating the structural segmentation of popular musicpieces under regularity constraints. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 25,
No. 2, pp. 344–358, 2017.
[5] Tian Cheng, Jordan B. L. Smith, and Masataka Goto. Music structure boundary detection and labelling by a deconvolution of path-enhanced self-similarity matrix. In
Proceedings of IEEE ICASSP 2018, pp. 106–110, 2018.
[6] Jordan B. L. Smith and Masataka Goto. Using priors to
improve estimates of music structure. In Proceedings of
ISMIR 2016, pp. 554–560, 2016.
[7] Thomas Grill and Jan Schlüter. Music boundary detection
using neural networks on combined features and two-levelannotations. In Proceedings of ISMIR 2015, pp. 531–537,
2015.
[8] Brian McFee and Dan Ellis. Analyzing song structurewith spectral clustering. In Proceedings of ISMIR 2014,
pp. 405–410, 2014.
[9] Geoﬀroy Peeters and Victor Bisot. Improving music structure segmentation using lag-priors. In Proceedings of ISMIR 2014, pp. 337–342, 2014.
[10] Harald Grohganz, Michael Clausen, Nanzhu Jiang,
and Meinard Müller. Converting path structures into
block structures using eigenvalue decompositions of selfsimilarity matrices. In Proceedings of ISMIR 2013, pp.
209–214, 2013.
[11] Oriol Nieto and Tristan Jehan. Convex non-negative matrix
factorization for automatic music structure identiﬁcation.
In Proceedings of IEEE ICASSP 2013, pp. 236–240, 2013.
[12] Florian Kaiser and Geoﬀroy Peeters. A simple fusion
method of state and sequence segmentation for music structure discovery. In Proceedings of ISMIR 2013, pp. 257–
262, 2013.
[13] Joan Serrà, Meinard Müller, Peter Grosche, andJosep Lluís Arcos. Unsupervised detection of music
boundaries by time series structure features. In Proceedings of AAAI 2012, 2012.
[14] Meinard Müller, Peter Grosche, and Nanzhu Jiang. A
segment-based ﬁtness measure for capturing repetitive
structures of music recordings. In Proceedings of ISMIR
2011, pp. 615–620, 2011.
[15] Jouni Paulus, Meinard Müller, and Anssi Klapuri. State

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]
[25]

[26]

[27]

[28]

[29]

― 297 ―of the art report: Audio-based music structure analysis. In
Proceedings of ISMIR 2010, pp. 625–636, 2010.
Jouni Paulus and Anssi Klapuri. Music structure analysis
using a probabilistic ﬁtness measure and a greedy searchalgorithm. IEEE Transactions on Audio, Speech, and Language Processing, Vol. 17, No. 6, pp. 1159–1170, 2009.
Meinard Müller and Sebastian Ewert. Joint structure analysis with applications to music annotation and synchronization. In Proceedings of ISMIR 2008, pp. 389–394,
2008.
M. Cooper and J. Foote. Summarizing popular music via
structural similarity analysis. In Proceedings of WASPAA
2003, pp. 127–130, 2003.
Jonathan Foote. Automatic audio segmentation using ameasure of audio novelty. In Proceedings of IEEE ICME
2000, p. 452, 2000.
Masataka Goto, Hiroki Hashiguchi, Takuichi Nishimura,and Ryuichi Oka. RWC Music Database: Popular, classicaland jazz music databases. In Proceedings of ISMIR 2002,
Vol. 2, pp. 287–288, 2002.
Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado,and Jeﬀrey Dean. Distributed representations of words
and phrases and their compositionality. In Proceedings of
NeurIPS 2013, pp. 3111–3119, 2013.
Oren Melamud, Jacob Goldberger, and Ido Dagan. context2vec: Learning generic context embedding with bidirectional LSTM. In Proceedings of SIGNLL 2016, pp.
51–61, 2016.
Yujian Li and Bi Liu. A normalized Levenshtein distancemetric. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 6, pp. 1091–1095, 2007.
Steven Bird. NLTK: the natural language toolkit. In Proceedings of ACL 2006, 2006.
Donald J. Berndt and James Cliﬀord. Using dynamic time
warping to ﬁnd patterns in time series. In Proceedingsof Workshop on Knowledge Discovery in Databases, pp.
359–370, 1994.
Alex Graves, Abdel-rahman Mohamed, and Geoﬀrey E.
Hinton. Speech recognition with deep recurrent neuralnetworks. In Proceedings of IEEE ICASSP 2013, pp.
6645–6649, 2013.
Sergey Ioﬀe and Christian Szegedy. Batch normalization:
Accelerating deep network training by reducing internal
covariate shift. In Proceedings of ICML 2015, Vol. 37, pp.
448–456, 2015.
Colin Raﬀel, Brian McFee, Eric J. Humphrey, Justin Salamon, Oriol Nieto, Dawen Liang, and Daniel P. W. Ellis.
mir_eval: A transparent implementation of common MIR
metrics. In Proceedings of ISMIR 2014, pp. 367–372,
2014.
Ilya Loshchilov and Frank Hutter. Decoupled weight decay
regularization. In Proceedings of ICLR 2019, 2019.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).