楽曲の自動コード認識におけるアンサンブル学習モデルを用いた精度向上
Improving Accuracy with an Ensemble Model in Automatic Chord Recognition
0312018156 門馬 敏文
指導教員：伊藤慶明 小嶋和徳 眞田尚久
1. はじめに
自動コード認識とは，ポピュラー音楽等の楽曲データから一連のコード（和音）を認識し書き起こすタスクである．手作業によるコードの書き起
こしは専門知識が必要であり，労力を要する．コードは代表的な音楽特徴であり，自動コード認識の実現により採譜や構造分析など多くの目的に使用可能となる．このため，自動コード認識は音楽情報検索分野における代表的な研究タスクとなっている．
近年は深層学習モデルを使用した自動コード認識が主流となっており，その中でも CRNN
(Convolutional Recurrent Neural Network)1) やTransformer 2)を使用したシステムで高い正解率が得られている．
本研究では，先行研究で用いられている前述の2 つのモデルにおける特徴抽出アプローチの差異に着目し，2 つのモデルを用いたアンサンブル学習を提案する．さらに，推論における時間的情報の不足を改善することを目的とした独自のオーバーラップ推論手法を導入し，精度向上を図る．

2. 関連研究2.1. 自動コード認識
Jiang らは，深層学習モデルとして CRNN を採用した 1)．CRNN は 10 層の畳み込み層および 2層のプーリング層による CNN 部と双方向 型
LSTM (Long Time Short Memory)による RNN 部でである．スタッキングでは，ベースとなる複数のモデル（下位モデル）それぞれの学習過程で得られた各下位モデルの予測値を基にデータセットを新たに作成し，新たなモデル（上位モデル）の学習を行う．これにより，上位モデルは下位モデルの予測能力を柔軟に考慮した上での最終予測値を出力することが可能となる．

3. 提案手法
3.1. スタッキング
CRNN は畳み込みフィルタを有しており局所的な特徴を捉えることができる一方，Transformer は Self-Attention 機構を有しており大域的な特徴を捉えることができる．本研究では，異なる性質を持つこれらのモデルを用いてアンサンブル学習を行うことにより，自動コード認識の推定精度向上を図る．
本研究では，スタッキングにおける下位モデルとして CRNN および Transformer を使用し，上位モデルとして NN (Neural Network)を使用する．NN は全結合層，ReLU (Rectified LinearUnit)関数，Dropout 層からなる中間ブロックの数および全結合層のユニット数が異なる 6 種類のモデルを用意する．
図 1 に本研究で使用するスタッキングの流れを示す．2 次元特徴量を入力とする２つの下位モデルはそれぞれ 170 種類のコード確率を 108 フレーム（約 10 秒）分出力する．上位モデルは下構成される．
Park ら は Transformer を 採 用 し た 2) ．
Transformer は入力特徴量系列内の対応関係を獲得する Self-Attention 機構を持っており，これにより特に時間的情報の学習において優れたパフォーマンスを示した．
2.2. アンサンブル学習
アンサンブル学習とは，複数のモデルの各予測位モデルの出力を入力特徴量とし，下位モデルと値を利用して最終的な予測を得る機械学習手法
であり，スタッキングはその代表的な方式の一つ

図 1 本研究でのスタッキング概要図同様 1 コード確率を 108 フレーム分出力する．

表 1 各モデルの正解率比較（OL1：オーバーラップ推論パターン１）
CRNN
CRNN+OL1
Transformer
Transformer+OL1
Stacking
Stacking+OL1

Root
82.64
83.10
81.88
82.46
83.21
83.93

Thirds
80.21
80.73
79.53
80.25
81.05
81.88

Maj-Min
81.08
81.60
80.37
81.02
81.86
82.70

Triads
78.74
79.28
78.03
78.73
79.52
80.37

Sevenths
70.01
70.56
68.87
69.44
70.77
71.77

Tetrads
67.09
67.63
66.00
66.54
67.90
68.90

MIREX
81.19
81.72
80.72
81.46
82.01
82.87

3.2. オーバーラップ推論先行研究モデルや本研究での提案モデルはいずれも固定長の特徴量を入力とする．先行研究では，推論対象となる楽曲を短時間の音楽データ（音楽クリップ）に分割した後にモデルへ入力し，フレーム単位で得られた推定コードを並べたも推論パターン使用時における，正解コード範囲の異なる 7 種類の正解率を表 1 に示す．
中間ブロック数を 2，全結合層ユニット数を1024 とした提案モデル(Stacking)は CRNN，Transformer と比べそれぞれ平均 0.87pt，1.66ptの精度向上となった．また，推論手法の比較としのを結果とする．この場合，各推論において始端や終端はそれ以外の区間と比べ時間的な情報がて，図 2 におけるオーバーラップ推論パターン1(OL1)を用いた CRNN および Transformer の不足し，不安定な推論が行われる可能性が高い．
本研究ではこれを解決するため，独自の推論方正解率は従来の推論と比較して それぞれ平均0.52pt，0.64 の向上となった．オーバーラップ推法を導入する．図２で示すように楽曲をオーバーラップ有りでクリップに分割し，モデルに入力して得られた各推論結果の中間（図 2 中緑色）部分を抽出し，並べたものを曲全体の予測結果とする．

論有りのスタッキングモデルは従来推論時のCRNN，Transformer と比較してそれぞれ平均1.64pt，2.43pt の正解率向上となった．以上より，提案モデルの有効性を確認できた．

なお，2 種類の推論パターンを用いて実験を行う．

5. おわりに

図 2 オーバーラップ推論概要図

本研究では 楽曲の自動コード認識においてCRNN および Transformer を用いたアンサンブル学習モデルを提案し，コード正解率の向上を試みた．提案モデルおよびオーバーラップ推論により既存モデルから精度が向上し，その有効性を確認することができた．

4. 検証実験
4.1. データセット
本研究で用いる楽曲データセットとして，Isophonics 3)225 曲，Robbie Williams 4)65 曲，RWCPOP 5)6)100 曲の計 390 曲を用いる．
データセットのうち，無作為に選出された

参考文献
1)

2)

80％の楽曲（312 曲）を学習用，残りの 20％の楽曲（78 曲）を評価用とし，5 分割交差検証を行う．
4.2. 前処理
各楽曲は先頭から 10 秒ずつ，5 秒のオーバーラップで音楽クリップに分割した後，各クリップを CQT (Constant-Q Transform)スペクトログラムへ変換する．各クリップは時間方向 108×周
波数方向 192 の 2 次元特徴量となる．
4.3. 実験結果
各モデルの従来方式の推論時およびそれぞれにおいて性能の向上幅が大きいオーバーラップ

3)
4)

5)

6)

J. Jiang et al., “Large-vocabulary Chord
Transcription
Via
Chord
Structure
Decomposition”, 20th ISMIR Conference, pp.
644-651, 2019.
J. Park et al., “A Bi-Directional Transformer forMusical Chord Recognition”, 20th ISMIR
Conference, pp. 620-627, 2019.
Datasets | Isophonics
http://isophonics.net/datasets （2021/01/03 参照）
B. Di Giorgi et al., “Automatic chord recognition
based on the probabilistic modeling of diatonic
modal harmony”, 8th nDS Conference, 2013.
M. Goto et al., “RWC Music Database: Popular,Classical, and Jazz Music Databases”, ISMIR
Conference, pp.287-288, 2002.
GitHub - tmc323/Chord-Annotations
https://github.com/tmc323/Chord-Annotations（2021/01/03 参照）