Vol.2023-MUS-136 No.15
2023/2/28

情報処理学会研究報告
IPSJ SIG Technical Report

定テンポ制約付き CTC に基づく自動ドラム採譜
鎌倉 大地1,a)

中村 栄太1,b)

吉井 和佳1,c)

概要：本稿では，ポピュラー音楽の音楽音響信号から直接ドラム譜を推定する深層ドラム採譜について述
べる．ドラム採譜では，従来，深層ニューラルネットワーク (DNN) を用いて音楽音響信号中からドラムの発音時刻を検出したのち，別途推定したビート・ダウンビート情報を用いて楽譜上の位置を推定するアプローチが一般的であった．しかし，DNN の学習に必要なドラムの発音時刻が付与された音響信号は限られていた．本研究では，End-to-End 音声認識に着想を得て，時間同期は取れていないものの，インターネットから比較的容易に入手可能な楽譜（ドラムパート譜）を用いた End-to-End ドラム採譜に取り組む．
具体的には，コネクショニスト時間分類 (connectionist temporal classiﬁcation; CTC) に基づく損失関数を用いて，フレーム単位の音響特徴量系列をテイタム単位のドラムラベル系列に変換する DNN を学習する．ただし，通常の CTC では，自由な時間伸縮を許容した入出力系列のアラインメントを行うため，各テイタムに対応するフレーム数が不自然に大きく変動しうる問題がある．特に，ドラムが存在しないテイ
タムは，本来対応するフレームの音響特徴量はドラム由来のものではないので，正しくアラインメントが行えない．この問題を解決するため，テンポがほぼ一定となるアラインメントのみを考慮した CTC 損失関数を提案する．提案法の動作を検証するため，1 小節分の音楽音響信号を用いた学習・評価を行い，提案法がドラムが存在しないテイタムを含めて，ドラムラベル系列および入力とのアラインメントを正しく推定できることを確認した．今後，実際的な長さの音響信号を扱うため，計算コストの削減に取り組む．

1. はじめにあり，ドラム採譜にも応用されている [8]．一方，音響信号
から楽譜を直接推定する End-to-End 自動採譜の研究も行

自動ドラム採譜 (automatic drum transcription; ADT)

われている [9–12]．この方法は，多段処理による誤りの伝は，音楽音響信号を入力とし，ドラム譜を推定するタスク

搬を防ぐとともに，音符単位で正確にアラインメントが取である．ポピュラー音楽において，ドラムは楽曲中の音楽

れた学習データを用いずとも，音響データと楽譜データの的な構造を支える重要な構成要素であり，自動ドラム採譜

みによって学習が行えるという長所もある．

は音楽情報処理の中でも重要な役割を果たす．高精度なドEnd-to-End 自動採譜を実現するには，End-to-End 音声

ラム採譜の実現により，音楽活動の支援や音楽構造の理解

認識と同様に，コネクショニスト時間分類 (connectionist

への貢献が可能となる．

temporal classiﬁcation; CTC) [13] が有望である．すでに，自動採譜手法には，MIDI 推定を行うものと楽譜推定を

音響信号の特徴量系列から，音高と音価からなる音符系列行うものがある．MIDI 推定は，各音符の音高と，秒単位を直接推定する試みがなされている [10, 14]．この方式での発音時刻と消音時刻を推定するもので，従来の多くの採は，得られる音符系列の拍節構造の一貫性が担保されない

譜研究ではこの問題を扱っている [1–3]．楽譜推定は，各という問題がある [15]．

音符の音高と，楽譜上での発音時刻と消音時刻を推定する

End-to-End ドラム採譜において，この問題を回避する

もので，小節線や拍の位置を含むリズムの認識が必要になには，テイタムと呼ぶ拍節位置の最小単位（本研究では 16

る．楽譜推定の方法として，MIDI 推定の結果に対してリ

分音符）ごとに，各ドラムの打音の有無を表すラベル（「ド

ズム認識を行う多段処理方式の方法があり [4]，ピアノ採

ラムラベル」と呼ぶ）を出力していけばよい．ただし，こ譜では高精度の結果が報告されている [5]．また，ビートの方式では，ドラムが存在しないテイタムでは，無音を表推定 [6, 7] の結果を用いて，リズムの量子化を行う方法もす特別な記号を出力する必要が生じる．通常の CTC を用いた学習では，正解出力系列中の各テイタムは，その順番

1
a)
b)
c)

京都大学大学院情報学研究科
kamakura@sap.ist.i.kyoto-u.ac.jp
eita.nakamura@i.kyoto-u.ac.jp
yoshii@i.kyoto-u.ac.jp

c 2023 Information Processing Society of Japan⃝を保持しながら識別が容易な特徴量を持つ少数のフレームに対応付けられ，それ以外のフレームには特殊なブランク

1Vol.2023-MUS-136 No.15
2023/2/28

情報処理学会研究報告
IPSJ SIG Technical Report

記号が割り当てられる．したがって，ドラムが存在するテ
イタムは，そのドラムに対応する特徴量をもつフレームと対応付けできる．一方，ドラムが存在しないテイタムをドラムが存在「しない」ことを示す特徴量をもつフレームと対応付けるのは原理的に困難である．なぜなら，そのようなフレームは本来，ブランク記号に割り付けるべきものであるからである．すなわち，CTC では，特定のパターンを持つ特徴量の出現があって初めてイベントの存在を認識できるのであって，特徴量の変化を伴わない「非生起」イ
ベントをイベントとして認識することはできない．
この問題に対し，本研究では，CTC に基づく学習にお図 1

各テイタムに対応するフレーム数が一定となるような制約を導入した提案法．

ける入出力系列のアラインメントの際に，各テイタムが対応するフレーム数が，当該テイタムでのドラムの有無に関することが多く，自動採譜タスクでは畳み込みニューラル

わらずほぼ一定となるような制約を導入する（図 1）．これネットワーク (convolutional neural network; CNN) や時

は，ポピュラー音楽の場合，楽曲中でのテンポはほぼ一定

間畳み込みネットワーク (temporal convolutional network;に保たれることが多いため，連続するテイタムの継続時間

TCN) [21, 22] を用いることができる．また，音楽的に意味（対応するフレームの個数）が大きく変化しないという前のあるドラム譜の事前情報による正則化 [8] やネットワー

提に基づく．ドラムが存在するテイタムが，本来ドラムがクへの工夫 [23] が試されており，採譜精度の向上が報告さ存在する区間を超えて不自然に広範囲のフレームに対応付れている．これらの自動ドラム採譜は，訓練データとしてけられることを回避することにより，ドラムが存在しない

楽曲のスペクトログラムとドラムの打音時刻系列が必要でテイタムも，ドラムが存在するテイタムとほぼ同じ長さのあり，データ量が少ないという問題があった．これに対し区間に対応付けることができる．

て，合成データセットの使用 [24] やデータ拡張 [17] ，教技術的には，CTC に基づく損失関数の計算時に，正解師なし学習 [25] などの手法が提案されている．しかし，こ出力系列における隣り合うテイタム間の継続時間の遷移確

れらの手法には実際の生演奏に対する頑健性やドラム音色

率 [6, 15] を考慮することで，継続時間が一定となるアライの差異への対応能力に課題が残っている．

ンメントパスほど損失が小さくなるよう重み付けを行う．
可能なすべてのパスに関する損失の重み付き和の計算で2.2 自動採譜における End-to-End 学習

は，通常の CTC が，隠れマルコフモデル (HMM) の前向

自動採譜では，時間量子化された楽譜や楽譜上の記号をきアルゴリズムに類似した動的計画法を用いるのに対し，直接推定する研究も存在する [26–28]．これらは注意機構

提案する定テンポ制約 CTC は，隠れセミマルコフモデル

や CTC に基づく手法を採用している．例えば， 歌声採譜

(HSMM) に対応するものが得られる．このとき，考慮すべでは，テンポが一定である楽曲に対して，注意重みのピーク

きパスの数が大幅に増加することで，誤差逆伝播法に必要は昇順かつ一定間隔に並ぶよう制限を加えた注意機構 [28]となる計算グラフの構築には莫大なメモリを要し，計算時が提案されている．また，CTC についても，ラティス上間が現実的ではなくなる問題がある．本稿では，定テンポ

で足し合わせるパスを制限するモデル [29] が提案されてい制約 CTC の基本的な効果を実験的に検証した結果を報告る．ここで，足し合わせるパスを一定の傾きのものだけにし，計算量の削減については今後の課題とする．

制限すれば，先述の制限付き注意機構と同等の効果が得ら

2. 関連研究
本章では，自動ドラム採譜と End-to-End 自動採譜を中心に関連研究を述べる．

れる．ドラム採譜では，定テンポ制約付きの CTC に基づ
く End-to-End 学習はいまだ報告されていない．

3. 提案手法
本章では，継続時間を導入した CTC を用いてドラム採

2.1 自動ドラム採譜

譜を行う方法を説明する．

DNN に基づくドラム採譜の試みは数多く行われてきた [2, 3, 8, 16–20]．標準的に，楽曲の音響信号のスペクトロ

3.1 問題設定

グラムを入力とし，ドラムの打音時刻をアノテーションし

本研究では，音楽音響信号から，ドラム譜を推定するタたものを訓練データとする．これは，2 次元データに変換

スクに取り組む．音響信号の左右チャネルのパワースペクすることで，特徴量を抽出しやすいことが理由である．特トログラム X ∈ R2×F ×T に対し，各テイタムにおけるド徴抽出のために，畳み込み演算をするネットワークを使用

ラムの有無を表すクラス Y ∈ {1, 2, 3, . . . , 2K }L を推定す

c 2023 Information Processing Society of Japan⃝2

Vol.2023-MUS-136 No.15
2023/2/28

情報処理学会研究報告
IPSJ SIG Technical Report

フレーム単位での出力クラス系列 H ∈ {0, 1, 2, . . . , 2K }Tは次式で決定される．

Ht = argmax ϕk,t(2)k

さ ら に ，最 終 的 な テ イ タ ム 単 位 で の 出 力 ク ラ ス Y ∈{1, 2, 3, . . . , 2K }L を，以下のように定める．
図 2

ドラム採譜のための提案 CTC に基づく CBRNN モデル．

Y = B(H)(3)

る．ここで，F は周波数ビン数，T はフレーム数，L は対応するテイタム数，K はドラムの種類数である．本稿で提案法では，H と Y のアラインメントが一定の傾きで，テは，ドラムの中でも特に重要な役割を果たす 3 楽器（バス

ンポの一貫性が考慮されていることが期待される．図 3 にドラム (BD)・スネアドラム (SD)・ハイハット (HH)）をアラインメントの例を示す．この例では，アラインメント扱うため，K = 3 となる．フレームは入力するパワースペ

が直線的でないから，テンポに一貫性があるとは言えない．

クトログラムの時間分解能を表し，10 [ms] とする．また，テイタムは楽譜上の位置を表す単位であり，本稿では 16

3.3 通常の CTC に基づく損失関数

分音符に相当する長さを表す．従って，フレーム長は楽曲

本稿では以降，ラベル列 π をパスと呼ぶこととする．パ

を通して一定であるが，テイタム長はテンポに依存する．

ス π をラベル列 Y ∈ {1, 2, 3, . . . , 2K }L に変換する関数を採譜システムの出力 Y は図 2 の右側ように，元のドラム

B : ZT → ZL とし，以下の操作で定義する．

譜から一意に定められるテイタム単位でのドラム譜を 2K( 1 ) 同じラベルの繰り返しを削除する

クラス分類したものである．つまり，n 番目のテイタムで( 2 ) 0 を全て削除するのクラスは，Yn = 1 + 2 ⟨BD⟩n + 2 ⟨SD⟩n + 2 ⟨HH⟩n のよ

例えば，B(10120) = B(01100122) = 112 となる．ここで，

0

1

2

うに表す．ただし，⟨inst⟩n は n 番目のテイタムで inst が存在するときに 1，そうでないときに 0 をとる．

あるラベル列 l になる全てのパスの集合を B −1 (l) で表すこととすると，DNN の出力が B −1 (l) のいずれかに対応すれば，推定が正しいと見なせる．
パス π の確率は以下で計算できる．

3.2 CTC に基づくドラム採譜
CTC を用いた End-to-End ドラム採譜の基本的な流れ

p(π|X, θ) =について説明する（図 2）．

ϕπt ,t(4)

t=1

3.2.1 学習L̂ を正解ラベル列のテイタム数としたとき，L̂ < T である．
blank ラベルを含む冗長なラベル列 π ∈ {0, 1, . . . , 2K }T を次に，ラベル列 l の確率は以下で計算できる．

p(l|X, θ) =導入することで，入力 X と正解ラベル列 l ∈ {1, 2, . . . , 2K }L̂
に対して，Xt に対応するラベル πt を考えることができる．
ただし，ラベル列中の 0 は blank を表し，blank は Xt が正解ラベルに含まれるどのクラスにも対応していないことを表すクラスである．

DNN は，X を入力として，blank ラベルを含む各フ
レームにおけるドラムの存在の有無を表すクラス分類確K
率 ϕ ∈ [0, 1](2 +1)×T を出力する．訓練データである正解
ラベル列を l ∈ {1, 2, 3, . . . , 2K }L̂ とするとき，ϕ に対して

CTC に基づく誤差関数 L が計算できる．
L = − log p(l|X, θ)TY

X

p(π|X, θ)(5)π∈B−1 (l)CTC における前向きアルゴリズムを定義するにあたって，新たな正解ラベル列 l′ を導入する．これは l の各ラベル間と最初と最後に blank である 0 を挿入した系列である．従って，l′ の長さ L̂′ は以下で計算できる．

L̂′ = 2L̂ + 1(6)l′ における s 番目のラベルを ls′ と表すとき，l において対応するラベルは l⌊s/2⌋ である．ここで，パス π の t 番目のラベルと正解ラベル列 l′ の s 番目のラベルが対応する全て(1)のパス π の確率の総和を，前向き確率 αt (s) という．αt (s)は次式のように定義できる．

ただし，p(l|X, θ) は ϕ が正解に近いほど大きくなる（詳細は 3.3）．また，θ は DNN パラメータである．DNN の学習
では，L を最小化することが基本となる．

3.2.2 推論αt (s) :=Xt
Y

π1:t ∈{0,1,...,2 }s.t. B(π1:t )=l1:⌊s/2⌋
K t

ϕπt′ ,t′

(7)

t′ =1

X を入力したとき，DNN は ϕ を出力する．ϕ の各フレー

ここで，a1:t は系列 a における最初の t 個の要素を表す．

ムについて，最大となるインデックスを出力クラスとすれば，前向き確率は以下の前向きアルゴリズムで計算できる．まc 2023 Information Processing Society of Japan⃝3

Vol.2023-MUS-136 No.15
2023/2/28

情報処理学会研究報告
IPSJ SIG Technical Report

ず，初期値を次にように定める．

α1 (1) = ϕ0,1(8)

α1 (2) = ϕl1 ,1(9)

α1 (s) = 0, ∀s > 2(10)

次に，t ≥ 2 に対しては，以下の更新式を用いる．
′
if ls′ = blank or ls′ = ls−2
(αt−1 (s) + αt−1 (s − 1)) ϕls′ ,tαt (s) =

else




(αt−1 (s) + αt−1 (s − 1) + αt−1 (s − 2)) ϕls′ ,t

図 3

CTC によるフレーム単位での出力とテイタム単位での出力のアラインメントの例．

(11)
式 (8) から (11) を用いて αT (s) を計算により求めることができる．最後にパスは T フレーム目で L′ 番目か L′ − 1番目のテイタムに到達している必要がある（それぞれ最後の blank ラベルと最後の blank でないラベルを表す）．以
上より正解ラベルの確率 p(l|X, θ) は以下のように計算できる．

p(l|X, θ) = αT (L′ − 1) + αT (L′ )

(12)

図 4

前向き確率に足し合わされるパスのうち
テンポの一貫性が考慮されていない例．

以上が従来の CTC における確率の計算法である．

3.4 定テンポ制約付き CTC に基づく損失関数
DNN からの出力パス π は冗長なラベル列であり，B(π)に変換された各ベルは，π においてある程度のフレーム数を持っている．本稿では，このフレーム数のことを継続時間と呼ぶ．
従来の CTC に対し，各ラベルの継続時間の集合 D ={dn }Ln=1 を導入するとき，最大化する確率は次のように

図 5

前向き確率に足し合わされるパスのうち
テンポの一貫性が考慮されている例．

なる．

p(l|X, θ) =X

提案する CTC における前向き確率は，s 番目のラベルのp(l, D|X, θ)(13)p(l|X, θ, D)p(D)

(14)

D

=

X
D

p(D) = p(d1 )L
Y

継続時間 d を変数に含む必要がある．前向き確率はフレーム毎に定義するため，t 番目のフレームが s 番目のラベルの中で，何フレーム目かという情報が必要となる．従って

s 番目のラベルが継続中に d から 1 フレーム毎にデクリメ
p(dn |dn−1 )

(15)

n=2

1
Dmax − Dmin + 1


dn
−1
p(dn |dn−1 ) ∝ exp −λdn−1
p(d1 ) =dn ∈ {Dmin , Dmin + 1, . . . , Dmax }ントされる変数 c を導入し，本稿では以下カウンタと呼ぶ．
以上より前向き確率は以下で表せる．

(16)
(17)
(18)

αt (s, d, c) :=XtY

ϕπt′ ,t′

(19)

′

t =1
π∈ZT s.t.
B(π1:t )=l1:⌊s/2⌋

なお，提案手法においては継続時間毎のラベル遷移を考

ただし，dn は B(π) における n 番目のラベルの継続時間えるため，blank ラベル導入しなくても，適切に確率を計を表し，その範囲は Dmin から Dmax とする．本稿ではフ算することが可能である．しかし本稿では，blank ラベル

レーム長が 10 [ms] であるので，BPM は 1500/dn に対応を含めた手法を提案する．なぜなら，提案 CTC においてする．また，式 (14) では，D が X 及び θ と独立であるこも blank ラベルを導入すると，DNN から出力されたパスとを仮定し，式 (17) では，文献 [6] の局所テンポの遷移確に対し B を適用するだけで最終的な採譜システムの出力に率を参考にした．

なり，更に収束速度も向上する．

c 2023 Information Processing Society of Japan⃝4

Vol.2023-MUS-136 No.15
2023/2/28

情報処理学会研究報告
IPSJ SIG Technical Report

CTC における前向きアルゴリズムを次にように定める．

if d = c
if ls′ = blank





0




′

else
if ls′ = ls−2



P

′
′

′


d′ αt−1 (s − 1, d , 1) · ϕls ,t · p(d|d )




else


P


′
d′ ᾱt (s, d, c) · ϕls′ ,t · p(d|d )αt (s, d, c) =else if d > c





if ls′ = blank





¯ t (s, d, c) · ϕls′ ,t
ᾱ






else





αt−1 (s, d′ , c + 1) · ϕls′ ,t





else




0
(20)
ᾱt (s, d, c) = αt−1 (s − 1, d′ , 1) + αt−1 (s − 2, d′ , 1) (21)¯ t (s, d, c) = αt−1 (s, d′ , c + 1) + αt−1 (s − 1, d′ , c + 1)ᾱ
(22)

4.1.1 データ
提案法の基本的な動作を検証するため，1 秒間の合成ドラム音源（BPM240 で 1 小節相当）を 1 つ使用した．素朴な実装では，計算時間の点でこれ以上の長さの音響信号を扱うことは困難であり，今後の課題とする．
本実験では，計算量の問題で対象とするテンポ幅を制限し，対象となる楽曲のテンポを BPM で表すとき，テ
イタムの継続時間は Dsub = 1500/BPM となるため，前後に 2 フレーム程度の幅を持たせて Dmin = ⌊Dsub − 1⌋，

Dmin = ⌊Dsub + 2⌋ と設定した．
4.1.2 ネットワーク
本研究では，潜在特徴を抽出する CNN と双方向長・短期
記憶ネットワーク (bidirectional long-short term memory;

BLSTM) を用いて DNN を構成した．CNN の各パラメー
タは，カーネルサイズを 3 × 3，パディングサイズを 1 × 1，
ストライドを 1 とした．CNN からの出力は 512 × 4 次元であり，これに 30% の割合の dropout を適用した後，BLSTMに入力される．BLSTM は，3 層かつ 200 次元の隠れ層を持つ．提案モデルの最適化には AdamW [30] を使用し，各パラメータは γ = 0.001（学習率），λ = 10−4 （weightdecay），β1 = 0.9，β2 = 0.98，ε = 10−9 とした．提案モデ

ここで，初期値は次にように定める．

ルは PyTorch v1.8.1 を用いて実装した．

α1 (1, d, c) = ϕ0,1 , ∀d, c(23)

α1 (2, d, c) = ϕl1 ,1 , ∀d, c(24)

提案手法に対しては，単純な F 値を用いた評価は適して

α1 (s, d, c) = 0, ∀s > 2(25)

いない．推定テイタム数と正解テイタム数が同じという保4.1.3 評価尺度

最後にパスは式（12）と同様に，T フレーム目で L′ 番目

証が無いことと，一部分が推定されなかったときにそれ以か L′ − 1 番目のテイタムに到達している必要がある．以上

降が不正解となってしまうことが理由である．従って，本より正解ラベルの確率 p(l|X, θ) は次式で計算できる．
′

p(l|X, θ) =

L
X

D
max
X

d
X

研究では単語誤り率（Word Error Rate; WER）を参考にした以下の誤り率を評価尺度を用いる．

αT (s, d, c)(26)

Err = 100 ·s=L′ −1 d=Dmin c=1

Ins. + Del. + Sub.
L̂

[%]

(27)

継続時間の導入により，図 4 のように傾きが一定でなく

ここで，Ins.，Del.，Sub. はそれぞれ，テイタム単位でのテンポの一貫性が考慮されていないパスの確率を足し合わ

ドラムラベルの挿入，削除，置換誤りを表し，L̂ は正解テ

せる時の重みが小さくなる．逆に，図 5 のように傾きが一イタム数を表す．

定でテンポの一貫性が考慮されているパスの確率を足し合わせる時の重みが大きくなるため，定テンポ制約のある出
力をしやすいようにネットワークの学習を誘導する．

4.2 実験結果
実験結果を図 6 に示す．この実験結果は訓練データに提案する前向きアルゴリズムでは，D := Dmax −Dmin +1

対するものであるが，従来の CTC と比べてドラムが無いとするとき，計算量は O(T LD 2 ) である．従来の CTC の部分を推定できていることを確認できる．誤り率はそれぞ2

O(T L) に比べて O(D ) 倍であるため，多くのテンポに対応させようとしたとき，この計算量は非常に大きくなる．

4. 評価実験
本章では提案法の動作検証結果について報告する．

れ，Err = 25% と Err = 0% である．
正解ドラム譜と DNN の出力 H のアラインメントを図7 に示す．従来の CTC では，アラインメントの傾きが一定でないため，出力記号の継続時間が一定に保たれていな
いことが分かる．特に，傾きが急なところでドラムラベルの削除誤りががある．提案する CTC では，アラインメン

4.1 実験条件
実験に用いたデータ・ネットワーク・評価尺度について

トの傾きが一定に近く，ドラムラベルの削除誤りは存在し
ない．

説明する．

c 2023 Information Processing Society of Japan⃝5

Vol.2023-MUS-136 No.15
2023/2/28

情報処理学会研究報告
IPSJ SIG Technical Report

率 (17) に変更を加えることで，自動採譜タスク以外にも応用可能である．例えば，手書き文字認識のための CTC に
おいては，1 文字当たりの画像の横幅がテンポに対応する
ため，文字の大きさの一定性の制約を導入する目的での利用が考えられる [31]．一方，潜在変数の増加に伴い計算量が非常に大きくなるため，大きなデータセットによるネットワークの学習を行うための計算の高速化の必要性も明らかになった．
今後は，前向きアルゴリズムの見直しや計算パスを削減
により高速化を図り，大きなデータセットでの評価を行う．
提案法が現実的な速度で実行可能になれば，対応するペア
データの作成が簡単であることから，従来より大幅に大きいデータを用いることができ，より精度の良いモデルを作
図 6

従来法と提案法による採譜結果の比較：縦軸はドラムの種類を成できると期待できる．また，学習時だけでなく推論時に表し，横軸はテイタム単位を表す．黒い部分は，ドラムの打音

も継続時間を考慮するため，式 (2) に Viterbi アルゴリズがあることを表す．

ムを導入する．さらに，テイタムを同時に推定するモデルなどとの比較により，ドラム採譜において最適なモデルについて検討する．
謝辞

本 研 究 の 一 部 は ，JST PRESTO No. JP-

MJPR20CB 及 び 科 研 費 No. 19H04137, 21H03572,
21K02846, 21K12187, 22H03661 の支援を受けた．
参考文献
[1]

[2]

[3]

図 7

従来法と提案法におけるラティスの比較：縦軸はテイタム単位[4]の正解ドラム譜を表し，横軸はフレーム単位の H を表す．推定誤りを赤く囲まれたテイタムで示す．

5. おわりに[5]

本稿では，テンポの一定性を考慮した CTC に基づくテイタム単位での自動ドラム採譜手法を提案した．本研究の[6]

主要な貢献は，自動ドラム採譜タスクにおいて，楽曲の音響信号から直接楽譜上のリズムを特定できる形での出力を可能にしたことと，定テンポ制約を導入した CTC を提案[7]

してドラム打音が存在しない部分の推定を可能にしたことである．提案法では，CTC において前向き確率の潜在変数に出力記号の継続時間を導入した新しい損失関数に基づいており，継続時間系列が従う分布 (15) と継続時間の遷移確

c 2023 Information Processing Society of Japan⃝[8]

C. Hawthorne, E. Elsen, J. Song, A. Roberts, I. Simon, C. Raﬀel, J. Engel, S. Oore and D. Eck: Onsets
and Frames: Dual-Objective Piano Transcription, Proc.
International Society for Music Information Retrieval(ISMIR), pp. 50–57 (2018).
R. Stables, J. Hockman and C. Southall: Automatic
Drum Transcription using Bi-directional Recurrent Neural Networks., dblp (2016).
R. Vogl, M. Dorfer, G. Widmer and P. Knees: DrumTranscription via Joint Beat And Drum Modeling using
Convolutional Recurrent Neural Networks, Proc. International Society for Music Information Retrieval (ISMIR).
E. Nakamura, E. Benetos, K. Yoshii and S. Dixon: Towards Complete Polyphonic Music Transcription: Integrating Multi-Pitch Detection and Rhythm Quantization, Proc. International Conference on Acoustics,
Speech, and Signal Processing (ICASSP), IEEE, pp.
101–105 (2018).
K. Shibata, E. Nakamura and K. Yoshii: Non-local musical statistics as guides for audio-to-score piano transcription, Information Sciences, Vol. 566, pp. 262–280(2021).
F. Krebs, S. Böck and G. Widmer: An Eﬃcient StateSpace Model for Joint Tempo and Meter Tracking., Proc.
International Society for Music Information Retrieval(ISMIR), pp. 72–78 (2015).
S. Böck and M. E. Davies: Deconstruct, Analysis, Reconstruct: How To Improve Tempo, Beat, and Downbeat Estimation, Proc. International Society for Music
Information Retrieval (ISMIR).
R. Ishizuka, R. Nishikimi, E. Nakamura and K. Yoshii:
Tatum-Level Drum Transcription Based on a Convolu-

6

Vol.2023-MUS-136 No.15
2023/2/28

情報処理学会研究報告
IPSJ SIG Technical Report

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

tional Recurrent Neural Network with Language ModelBased Regularized Training, Asia-Paciﬁc Signal and Information Processing.
R. G. C. Carvalho and P. Smaragdis: Towards end-toend polyphonic music transcription: Transforming music audio directly to a score, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics(WASPAA), pp. 151–155 (2017).
M. A. Román, A. Pertusa and J. Calvo-Zaragoza: An
End-to-end Framework for Audio-to-Score Music Transcription on Monophonic Excerpts., Proc. International
Society for Music Information Retrieval (ISMIR), pp.
34–41 (2018).
R. Nishikimi, E. Nakamura, M. Goto and K. Yoshii:
End-to-end melody note transcription based on a beatsynchronous attention mechanism, IEEE Workshop on
Applications of Signal Processing to Audio and Acoustics (WASPAA), IEEE, pp. 26–30 (2019).
L. Liu, V. Morﬁ and E. Benetos: Joint multi-pitch detection and score transcription for polyphonic piano music,
IEEE International Conference on Acoustics, Speechand Signal Processing (ICASSP), IEEE, pp. 281–285(2021).
A. Graves, S. Fernandez, F. Gomez and J. Schmidhuber:Connectionist Temporal Classiﬁcation : Labelling Unsegmented Sequence Data with Recurrent Neural Networks, ICML, pp. 369–376 (2006).
S. Kim, T. Hori and S. Watanabe: Joint CTC-attention
based end-to-end speech recognition using multi-task
learning, 2017 IEEE international conference on acoustics, speech and signal processing (ICASSP), IEEE, pp.
4835–4839 (2017).
E. Nakamura, K. Yoshii and S. Sagayama: Rhythm
Transcription of Polyphonic Piano Music Based onMerged-Output HMM for Multiple Voices, IEEE/ACM
Transactions on Audio, Speech, and Language Processing, Vol. 25, No. 4, pp. 794–806 (2017).
C. Jacques and A. Roebel: Automatic drum transcription with convolutional neural networks, 21th International Conference on Digital Audio Eﬀects, Sep 2018,
Aveiro, Portugal (2018).
C. Jacques and A. Roebel: Data augmentation for drumtranscription with convolutional neural networks, IEEE
European Signal Processing Conference (EUSIPCO),
pp. 1–5 (2019).
上田舜，柴田健太郎，和田雄介，錦見亮，中村栄太，吉井和佳： 深層ドラム譜事前分布に基づく畳み込み非負値
行列因子分解を用いたドラム採譜，研究報告エンタテイ
ンメントコンピューティング (EC)， Vol. 2019, No. 26,
pp. 1–6 (2019).
Y. Wang, J. Salamon, M. Cartwright, N. J. Bryan and
J. P. Bello: Few-shot drum transcription in polyphonicmusic, arXiv preprint arXiv:2008.02791 (2020).
R. Ishizuka, R. Nishikimi and K. Yoshii: Global
Structure-Aware Drum Transcription Based on SelfAttention Mechanisms, Signals, Vol. 2, No. 3, pp. 508–
526 (2021).
C. Lea, R. Vidal, A. Reiter and G. D. Hager: Temporal convolutional networks: A uniﬁed approach to action
segmentation, Computer Vision–ECCV 2016 Workshops: Amsterdam, The Netherlands, October 8-10 and
15-16, 2016, Proceedings, Part III 14, Springer, pp. 47–
54 (2016).
M. E. Daveis and S. Böck: Temporal convolutional
networks for musical audio beat tracking, IEEE Euro-c 2023 Information Processing Society of Japan
⃝

[23]

[24]

[25]
[26]

[27]

[28]

[29]
[30]
[31]

pean Signal Processing Conference (EUSIPCO), pp. 1–
5 (2019).
鎌倉大地，大山偉永，吉井和佳： マルチタスク学習に基づくドラム採譜と拍節構造推定，第 84 回全国大会講演論
文集， Vol. 2022, No. 1, pp. 517–518 (2022).
M. Cartwright and J. P. Bello: Increasing drum transcription vocabulary using data synthesis, Proc. International Conference on Digital Audio Eﬀects (DAFx),
pp. 72–79 (2018).
K. Choi and K. Cho: Deep unsupervised drum transcription, arXiv preprint arXiv:1906.03697 (2019).
R. G. C. Carvalho and P. Smaragdis: Towards End-toEnd Polyphonic Music Transcription: Transforming Music Audio Directly to a Score, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics(WASPAA), pp. 151–155 (2017).
M. A. Román, A. Pertusa and J. Calvo-Zaragoza: An
End-To-End Framework for Audio-To-Score Music Transcription on Monophonic Excerpts, Proc. International
Society for Music Information Retrieval (ISMIR), pp.
34–41 (2018).
R. Nishikimi, E. Nakamura, S. Fukayama, M. Gotoand K. Yoshii: Automatic Singing Transcription Basedon Encoder-Decoder Recurrent Neural Networks with a
Weakly-Supervised Attention Mechanism, Proc. International Conference on Acoustics, Speech, and Signal
Processing (ICASSP), IEEE, pp. 161–165 (2019).
T. Zhao: Viterbi Accelerated Training for CTC Series
Topologies.
I. Loshchilov and F. Hutter: Decoupled weight decay
regularization, arXiv preprint arXiv:1711.05101 (2017).
M. Ibrayim, W. Simayi and A. Hamdulla: Unconstrained
online handwritten Uyghur word recognition based on recurrent neural networks and connectionist temporal classiﬁcation, International Journal of Biometrics, Vol. 13,
No. 1, pp. 51–63 (2021).

7