Vol.2018-MUS-121 No.16
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Report

階乗隠れセミマルコフモデルに基づく
音楽音響信号に対するカバー譜生成
柴田 健太郎1,a)

錦見 亮1,b)

中村 栄太1,c) 深山 覚2,d)
吉井 和佳1,4,g)

後藤 真孝2,e)糸山 克寿3,f)

概要：本稿ではポピュラー音楽の音響信号から原曲を再現するカバー譜を生成する手法について述べる．
これは自動採譜の派生タスクであるが，ボーカル・ギター・ドラムスで構成されるバンドで演奏可能な楽譜（カバー譜）を推定するという点において異なる．歌声・ドラムスの分離及び採譜について既に様々な研究が行われており，高精度な楽譜の推定が達成されつつある．そこで本研究では，様々な楽器によって演奏されるその他の伴奏パートを，近似的に再構成するようなギターパート譜（リードギター，ベースギター，
リズムギター）の推定を扱う．そのための手法として，３本の潜在チェインを持つ階乗型の隠れセミマル
コフモデルに基づくベイジアンアプローチを提案する．一本のチェインはリズムギターのコード系列を表し，残りの２本のチェインはそれぞれリードギターとベースギターによって演奏される単旋律を表現する．
入力の音響信号スペクトログラムはこれらのチェインによって生成される低ランクのスペクトログラムの和で近似される．推定対象の音響信号が与えられると潜在変数列及びパラメータはギブスサンプリングで統合的に推定される．RWC 研究用音楽データベースを用いた評価により，譜面採譜の有効性を示す．

(

%P

&

‫ڮ‬

‫ڮ‬

(

‫ڮ‬

&

೺ഝ೚೏ೠഝ

)
(

ࢅࡸ

䠿
ംഎ೨ೄ㵋ⱦካ

ࢅ࡮

*

‫ڮ‬

‫ڮ‬

‫ڮ‬

(

*

)
(

要求される．すなわち，原曲を限定的な種類の楽器で再構ᙾᩤ೚೻೐೩ഌ

成する能力である．というのもカバー演奏は通常，ギター

図1やキーボードといった典型的な少人数のバンド編成で行わ೔ഝ೪㖋ᐒካ

&

はない．複数の音を聞き分けることができるミュージシャ
ンにとっても，カバー譜の書き起こしにはまた別の技術が‫ڮ‬ഋഝ೪೏ೠഝ

識や経験を要する．ポピュラー音楽では通常，複数の楽器によって演奏され，同時に鳴る音を聞き分けるのは容易で

ࢅࡾ

&

‫ڮ ڮ‬

&

‫ڮ‬

‫ڮ‬

ポピュラー音楽のカバーのための採譜は，高度な音楽知ഋ೛ഁ೏ೠഝ
‫ڮ‬

1. はじめに䠿೺ഝ೚㵋ⱦካ
ೃ೐೧ೄ೺ഝ೘ഈഔ

ࢅ⒒ᐙ㵋೚೻೐೩എ೑ഊഁ

႙ഊഔ೐೚೻೐೩എ೑ഊഁ

多重音響信号の伴奏パートの生成過程を表現する
階乗型の隠れセミマルコフモデルれるからである．計算機による歌声とドラムパートの分離

似的に再現するカバー譜を生成する新しい問題を議論す

や採譜は近年高精度で達成されつつある [7,12,14,20,24] のる．複数楽器の多重音からの採譜は，多重音高推定と楽器に対し，ポピュラー音楽の伴奏パートの採譜はまだあまり推定を行う必要があるため，難易度の高いタスクである．

研究されていない．

従来研究では各楽器の音色の特徴に着目することで複数の

本稿では，ポピュラー音楽の音楽音響信号から原曲を近楽器の音源分離を行っている [2, 10, 23]. しかしながら，ポピュラー音楽においては同じ楽器（２本のギターなど）が

1
2
3
4
a)
b)
c)
d)
e)
f)
g)

京都大学大学院情報学研究科
産業技術総合研究所 (AIST)
東京工業大学工学院
理化学研究所 革新知能統合研究センター (理研 AIP)
shibata@sap.ist.i.kyoto-u.ac.jp
nishikimi@sap.ist.i.kyoto-u.ac.jp
enakamura@sap.ist.i.kyoto-u.ac.jp
s.fukayama@aist.go.jp
m.goto@aist.go.jp
itoyama@ra.sc.e.titech.ac.jp
yoshii@kuis.kyoto-u.ac.jpⓒ 2018 Information Processing Society of Japan

同時に演奏されることが多いため，音色の特徴に基づくこれらの手法には限界がある．カバー譜の自動生成についても様々な研究が行われている [1,6] が，これらの手法はルールベースである，もしくは音響信号は考慮しない記号処理に基づくものである．このように現状，音響信号からの自動採譜とカバー譜の生成はそれぞれ別々に研究されているが，これらを同時に行うことでより高精度な結果が得られると考えられる．

1Vol.2018-MUS-121 No.16
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Report
表 1 ポピュラー音楽の伴奏を構成するパートの特徴
パート
音符
音域
リズム
リード

単音

中域 - 高域

複雑

ベース

単音

低域

複雑

ハーモニー

和音

広域

シンプル

に音状態スペクトルテンプレートを用いた PLCA ベースのモデルを提案している．Vincent らは [23] 非線形独立部分
空間解析 (ISA) と階乗型の隠れマルコフモデル (FHMM) に基づく生成モデルを提案している．我々のモデルは FHMMを用いているという点で彼らのモデルに類似するが，継続

そこで我々は図 1 に示す３つに大別される伴奏パートの機能に着目することで，音楽音響信号からカバー譜の生長を考慮しセミマルコフモデルに拡張している点と各楽器の役割に基づき遷移確率を学習している点で異なる．

成を行う．これらのパートは典型的なバンドにおいては，

近年では，ニューラルネットワークも自動採譜タスクにリードギター・ベースギター・リズムギターにより演奏さ用いられており良い結果を収めている [3,18]．Sigtia ら [18]れる．そこで本研究では，原曲の楽器編成によらず，３本は ニューラル音響モデルとニューラル音楽文法モデルをのギターで編成されるバンドで演奏可能かつ原曲を再現す含む End-to-End 型のピアノ採譜モデルを提案している．

る楽譜の生成を目指す．

Bittner ら [3] は畳み込みニューラルネットワーク (CNN) を

本稿では３本のマルコフチェインを持つ階乗型の隠れセミマルコフモデル (FHSMM) に基づく統計的手法を用いる（図 1）．マルコフチェインのうち一つはリズムギターのコード系列を表現し，残りの２つはコードが与えられた下でのリードギターのメロディ音高列，ベースギターのベース音高列を表現する．各ギターの低ランクのスペクトログ
ラムはアクティベーションベクトルと基底スペクトル（和音基底もしくは単音基底）の積で表現される．ここで，時刻フレーム毎にひとつの基底のみがマルコフチェインによって選択され，アクティベートされる．混合音のスペク
トログラムは各ギターのスペクトログラムの和によって表現される．この FHSMM は制約付きの非負値行列因子分解（NMF）として解釈可能である．観測データとして混合音のスペクトログラムが与えられると基底スペクトル，アクティベーションベクトル，潜在変数列はギブスサンプリン
グによって確率的に推定される．最終的に各ギターのパート譜はビタビアルゴリズムによって与えられる．
本研究の主な貢献は，同様な音色の複数楽器の音源分離と採譜を同時に行う枠組みの提案にある．また，従来の自動採譜のように忠実な楽譜の生成を目指すのではなく，複雑な音楽を近似的に採譜する新たな研究トピックの提案も本研究のもうひとつの貢献である．これは市販楽曲の実用的な自動採譜を可能にする手法開発の為の重要な一歩である．

2. 関連研究
本章では自動採譜とカバー譜生成の関連研究について述べる．

2.1 自動採譜
自動採譜のための手法として主に NMF [10, 19, 22] と確用いた複数楽器音響信号からの多重 F0 音高推定の手法を提案している．

2.2 カバー譜生成
自動カバー譜生成についても様々な試みがなされているが，楽譜の記号領域で編曲を行いカバー譜を生成する
もの [6, 21] と音響信号も考慮してカバー譜を生成するもの [1,15] の二つに大別できる．Tuohy ら [21] は遺伝的アルゴリズム（GA）を用いて演奏可能なギターのカバー譜を生成するシステムを提案している．Chiu ら [6] は原曲の楽譜の重要な音は残しつつ音符を削減することでピアノカバー
譜を生成するシステムを提案している．Percival ら [15] はターゲットの楽曲の音響特徴量とクラシック音楽の楽譜
コーパスから得られる確率モデルを用いることで弦楽四重奏編成のカバー譜を生成するシステムを提案している．

Ariga ら [1] は原曲の音響特徴量を用いて難易度調節が可
能なギターカバー譜を生成するシステムを提案している．

3. 提案手法
本章ではポピュラー音楽の音響信号からカバー譜を生成する提案手法について述べる．我々のモデルでは，統一的な枠組みで多重音高推定と楽器パート割り当てを統合的に行う．このモデルでは音響スペクトログラムの確率的生成モデルを定式化し，その逆問題を解く．つまり，与えられた音響スペクトログラムを観測データとして，モデルに含まれる確率変数を推定することで楽譜を推定する．提案する FHSMM はリードギター・リズムギター・ベースギターに対応する 3 組の潜在変数を持つ (図 1)．

3.1 問題設定
我々が取り組む問題を以下のように定義する．

率的潜在要素解析 (PLCA) [2] が用いられている．Vincent

×T
入力: 伴奏音の振幅スペクトログラム X ∈ RFと 16 分
+ら [22] は NMF ベースの周波数帯域の異なる楽器のテンプ

音符単位のビート時刻

レートパターンの重み付き和で観測を表現するモデルを

出力: 3 つのパートの楽譜提案した．Grindlay ら [10] は音色構造を明示的にモデル化することで複数楽器の採譜へ NMF を拡張した．Benetos
ら [2] は楽器スペクトルの時間方向の依存関係を扱うためⓒ 2018 Information Processing Society of Japan

ここで F は周波数ビン数，T は時刻フレーム数であり，出力楽譜の拍子は 4/4 であると仮定する．

2

Vol.2018-MUS-121 No.16
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Report

3.2 確率的階乗モデル
×T
我々は音響スペクトログラム X ∈ RFを，リズム・+

リード・ベースギターで演奏されるハーモニー・リード・ୖୖ ୖೋഔ೜೤೩೴ഝ೩႘⻳㤨⮥⫝̸➙ܲ(‫ݑ‬௡|‫ݑ‬௡ିଵ ) = ߶଴,଴ؔٝ‫ؽزحإ‬٦‫ز‬⡘縧 ܷ ୖ‫ؽ‬٦‫ز‬⡘縧JOEFY

×T
ベースパートのスペクトログラム XR , XL , XB ∈ RFの+和で表現する (図 1)．

xf t = xRf t + xLf t + xBf t .

‫؝‬٦‫ୖ ܼ ٕكٓس‬
ᙾᩤ ࢃୖ

(1)

࢝ୖ
஼

XR , XL , XB の生成過程はそれぞれリズム・リード・ベース

和音のスペクトログラム XR を出力する．リードとベース





&



図2

















ୖ
ୖ
㵋㻄㤨⮥⫝̸➙ܲ ‫ݖ‬௡ୖ |‫ݖ‬௡ିଵ= ߰஼,஺௠

ୖ‫ݖ‬௡ିଵ

鼅‫ୖ࢝ ׋׸ל‬
஼
ෝୖ
ᙾᩤ ࢝
௟
×

ギターモデルとして表される．リズムギターモデルはコード系列とオンセット時刻情報を潜在変数列として表現し，

‫ڮ‬

ୖ
࢝஻௠



$P

(P

‫ݖ‬௡ୖ

ୖ
‫ݖ‬௡ାଵ

ୖ
ୖ
ୖ
ෝ௙ఎ
‫ݕ‬௙௧
~ Poisson(‫ݓ‬௧ ݄௧ )××႙ഊഔ೐೚೻೐೩എ೑ഊഁ

஼ସ
஼
ସ
࢝‫ୖݓ‬
ா௠

ୖ
࢝஺௠

ࢅୖ

ೃ೐೧ೄ೺ഝ೘ഈഔ ࡴୖ

FHSMM に基づくリズムギターのスペクトログラムの生成過程．

ギターモデルは音符列とオンセット時刻情報を潜在変数列

を超える場合自己遷移で表現される．状態遷移の単位ととして表現し，単旋律スペクトログラム XL と XB を出力

ビート時刻の単位は必ずしも一致しないのでこれはセミマ

する．これらの二つのモデルは同様にモデル化されるが，ルコフモデルであり，この拍節マルコフモデルは潜在状態

使う音域が異なる．リードギターは比較的高音域，ベースの継続時間の分布を表現している．

ギターは低音域の音高を用いる．

リズムギターのスペクトログラム XR は基底スペクト

提案モデルは各時刻のスペクトログラムを基底ベクトル×24
R
R
ル集合 WR = {wC, · · · , wBm} ∈ RF(wχR はコード χ+の重み付き和で表現する NMF の制約付き派生モデルであの基底スペクトルを表す) とアクティベーションベクトル

るとみなすことができる．各ギターパートにおいて，各時択された基底ベクトルに重み付けたものとしてモデル化さ

hR ∈ RT+ を用いて以下のように生成される．
()()
p xRf t |ZR , UR , WR , hRt = Poisson xRf t wηRR (t)f hRt , (5)れる．全体として各時刻フレームのスペクトラムは，リズ

ここで，η R (t) は時刻フレーム t が属するコードを表し，ZR

ム・リード・ベースパートに対応する３つの基底スペクトと UR によって決定される．この定式化は KL-ダイバー

ルの重み付き和でモデル化される．

シェンスに基づく NMF の確率モデル [19] から発想を得て

3.2.1 リズムギターモデル

いる．ただし，各時刻フレーム t において η R (t) によって刻フレームのスペクトラムはマルコフチェインによって選

XR の 生 成 過 程 を 表 現 す る 隠 れ セ ミ マ ル コ フ モ デ ル

指定された一つの基底ベクトルのみがアクティベートさ（HSMM）を定式化する (図 2)．リードギターモデルのれ，和音スペクトログラム XR を表現している点が，我々R
潜在変数列はコード記号列 Z = {z1R , · · · , zN
} とオン
R
R
R
セットビート位置列 U = {u1 , · · · , uN } で表される．ここで，N はコードの種類数であり，znR は {C, · · · , B} ×
{major, minor} の 24 種類のうち一つをとる．また，uRn はRのモデルの特徴である．

3.2.2 リード・ベースギターモデル
ZR と UR によって指定されたコード列の制約下での XLまたは XB の生成過程を表現する条件付き HSMM を定式

0 から 15 の整数をとり，16 分音符単位の小節内の相対的化する．簡単のため，“∗” は “L”(リードギター) もしくはなビート位置を表す（本稿では拍子は 4/4 に限定する）．

“B”(ベースギター) を表すものとする．HSMM の潜在変数

コード記号列 ZR は以下のようなマルコフモデルによって表現される．

(p z1R π R ) = πzRR ,
1
( R R
)
R
R
p zn |zn−1 , ψ = ψzRR
n−1 ,zn

列 U∗ = {u∗1 , · · · , u∗M ∗ } で表される．ここで M ∗ はリー

(2)
,

(3)

R
ここで，πaR はコード a の初期確率，ψa,bはコード a から

コード b への遷移確率である．
R同様に，コードのオンセット列 U は拍節マルコフモデ
ル [11, 16] で以下のように表現される．

()
p uRn |uRn−1 , ϕR = ϕRuR∗
列は音高列 Z∗ = {z1∗ , · · · , zM∗ } とオンセットビート位置Rn−1 ,unL
ド・ベースパートの音符数であり，zm
は {E3, · · · , C6} のB
33 種類の音高の内の一つ，zm
は {E1, · · · , G3} の 28 種類の音高のうち一つを取り，u∗m は 0 から 15 の整数をとる．
音高列 Z∗ は以下のように条件付きマルコフモデルによって表現される.

()
p z1∗ |ZR , UR , π ∗ = πz∗∗ ,zR ,
1 1
( ∗ ∗
)
p zm
|zm−1 , ZR , UR , ψ ∗ = ψz∗R∗ ,z∗
ρ (m)

,

(4)

∗
m−1 ,zm

(6)
,

(7)

∗
ここで，ρ∗ (m) は音符 zmの属するフレームのリズムギター

ここで ϕRa,b はビート位置 a から b への遷移確率である．た∗によって推定されたコード，πc,aはコード c の下での音高

だし，a ≥ b の時，そのコードは小節線をまたいで継続す∗a の初期確率，ψc,a,bはコード c の下での音高 a から b へのる．コードの最大継続長は 1 小節に制限されており，それ遷移確率を表す．

ⓒ 2018 Information Processing Society of Japan3

Vol.2018-MUS-121 No.16
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Reportؔٝ‫زحإ‬‫ؽ‬٦‫ز‬⡘縧 ܷ ‫כ‬











‫؝‬٦‫ୖ ܼ ٕكٓس‬&갈넝 ܼ ‫כ‬











るために，リードギターの基底ベクトル WR に事前分布を弱く置く (つまり，awR と bwR を awf∗ と bwf∗ よりも小さく㵋㻄㤨⮥⫝̸➙$P

トや単音テンプレートと一致するようにハイパーパラメーୖ‫כ‬‫כ ݖ| כ‬ܲ ‫ݖ‬௠
௠ିଵ , ‫ݖ‬ఘ‫( כ‬௠) = ߰஺௠,஺ଷ,஼ସタはあらかじめ設定される．同様に，H の事前分布は以下

&

(

$

‫כ‬
‫ݖ‬௠ିଷ

‫כ‬‫ݖ‬௠ିଶ

‫כ‬‫ݖ‬௠ିଵ

‫כ‬
‫ݖ‬௠

‫כ‬
‫כ‬
‫כ‬
‫ݕ‬௙௧
~Poisson(‫ݓ‬ෝ௙ఎ‫ כ‬௧ ݄௧ )

×

×

×

×

႙ഊഔ೐
೚೻೐೩എ೑ഊഁ

鼅‫כ࢝ ׋׸ל‬ෝ ‫כ‬௠‫ כ‬஼ସ
㛇䎿 ࢝

‫כ‬
࢝ாସ

&

‫כ‬
࢝஺ଷ

‫כ‬
࢝஼ସ

f

設定する)．i.e., W の事前分布の期待値が和音テンプレー



のように設定する．

()
hRt ∼ G ahRt , bhRt ,()
h∗t ∼ G ah∗t , bht∗ ,ܻ‫כ‬ೃ೐೧ೄ೺ഝ೘ഈഔ ࡴ‫כ‬図3‫כ‬= ߶଼,଴

f‫ؽ‬٦‫ز‬⡘縧 *OEFYᙾᩤ ܹ ‫כ‬‫כ‬࢝ாଵ‫כ࢝ ڮ‬஼଺



‫כ‬
‫כ‬
ೋഔ೜೤೩೴ഝ೩႘⻳㤨⮥⫝̸➙ ܲ ‫ݑ‬௠‫ݑ‬௠ିଵ

HSMM に基づくリードまたはベースギタースペクトログラム

(13)
(14)

ここで，aht と bht はハイパーパラメータである．

の生成過程．

同様に，音符のオンセットビート位置列 U∗ は以下のよ

3.4 ベイズ推論
音楽のスペクトログラム X が与えられると，ベイズ則

うな拍節マルコフモデルによって表現される．

より事後分布を計算できる．

()
p u∗m |u∗m−1 , ϕ∗ = ϕ∗u∗m−1 ,u∗m ,(8)

ここで ϕ∗a,b はビート位置 a から b への遷移確率である．
リード・ベースギターパートのスペクトログラム X∗ はp(Y|X, Θ) = p(X, Y|Θ)/p(X|Θ).

(15)

この事後分布は解析的に求められないので，ギブスサンプ

基底スペクトル集合 W とアクティベーションベクトル

リングを交互に繰り返し行うことで潜在変数 Z と U，基底h∗ ∈ RT+ を用いて以下のように生成される．
()()
p x∗f t |Z∗ , U∗ , W∗ , h∗t = Poisson x∗f t |wη∗∗ (t)f h∗t , (9)スペクトル W，アクティベーション H をサンプリングで∗

ここで，η ∗ (t) はフレーム t が属する音符を表し，Z∗ と U∗ にL
L
よって決定される．ただし，W∗ は WL = {wE3,· · ·, wC6
}∈
×33
×28
B
B
RF
または WB = {wE1,· · ·, wG3} ∈ RF
によって与++∗えられる．ここで wχ
は音符 χ の基底ベクトルを表す．

きる．つまり，G ⊂ Y となるようなサンプルを条件付き事後分布 p(G|Y¬G , X, Θ) から得られる．ここで Y¬G はY から G を除いた補集合を表す．簡単のため今後 Θ の依存関係は明記しない．

3.4.1 潜在変数 ZR と UR の更新
p(ZR , UR |Y¬ZR ,UR , X) から ZR と UR をサンプルするために，効率的なフォワードフィルタリング-バックワードワ
ンプリングアルゴリズムを用いる．フォワードフィルタリ

3.3 ベイジアン定式化
3.2.1 章と 3.2.2 章の３つのサブモデルを統合することで，以下のようなセミ-ベイジアンモデルを定式化する．

p(X, Y; Θ)= p(X|Z, U, W, H)p(Z|π, ψ)p(U|ϕ)p(W)p(H), (10)ングでは，フォワードメッセージ αR (znR , uRn ) が系列の先頭から再帰的に以下のように計算される．

()( )αR z1R , uR1 = p z1R = πzRR ,
1
(
)
(
)
R R
R
α zn , un = p xτ R (n−1):τ R (n)+1 |znR , uRn
∑ ∑
( R
)
ψzRR ,zR ϕRuR ,uR α zn−1
, uRn−1 ,n

ここで，Θ = {π , π , π , ψ , ψ , ψ , ϕ , ϕ , ϕ } は事前学
R

L

B

R

L

B

R

L

B

n−1

n

n−1

(16)

(17)

R
zn−1
uRn−1

習される一連のパラメータ，Y = {Z, U, W, H} は (観測ここで，τ R (n) は n 番目のコードの最後のフレームを表し，

スペクトログラム X に合わせてその都度推定される) 確率

xa:b は {xa , · · · , xb } を表す．

変数である．ここで Z = {ZR , ZL , ZB } であり，U, W, H
も同様に決定される．
事前分布 p(W) と p(H) を置くことで定式化が完結する．
以下のようにガンマ事前分布 W を定義する．
(
)
R
wkf
∼ G awkf,
R , bw R
kf()∗∗ , bw ∗wif∼ G awif
,
if

(11)
(12)

バックワードサンプリングでは，以下のようにバックR
ワードメッセージ γ R (znR , uRn ) 再帰的に計算しながら，zn とuRn を系列の終端から逆順に再帰的にサンプリングを行う．
( R R)( R R )
( R R)
γ R zN, u N = p zN
, uN |X ∝ αR zN, uN ,()( R R R)RR
R R
γ zn , un = p zn , un |zn+1:N , un+1:N , X()∝ ψzRR ,zR ϕRuR ,uR α znR , uRn .
n

n+1

n

n+1

(18)

(19)

ここで k ∈ {C, · · · , Bm} はコードを表し，i ∈ {E3, · · · , C6}

最終的に譜面を生成する際には znR と uRn のサンプリング

または {E1, · · · , G3} は音高を表し，aw と bw はハイパー

をビタビアルゴリズムにすることで，各時刻ステップのパラメータであり，形状母数と尺度母数の逆数である．ポ

γ R (znR , uRn ) を最大化する最尤な ZR と UR を得ることがで

ピュラー音楽におけるハーモニーパートの曖昧さを表現す

きる．

ⓒ 2018 Information Processing Society of Japan4

Vol.2018-MUS-121 No.16
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Report

3.4.2 潜在変数 Z∗ と U∗ の更新
同様にフォワードフィルタリング-バックワードサンプ
リングアルゴリズムで p(Z∗,U∗|Y¬Z∗ ,U∗ ,X) から Z∗ と U∗،‫ك؍ذؙ‬٦‫ّء‬ٝⴓ갈痗⽃⡘،‫ك؍ذؙ‬٦‫ّء‬ٝ

をサンプルすることができる．フォワードフィルタリングٔ‫ٕزؙكٔش؎غيؤ‬               では，フォワードメッセージ α∗ (zn∗ , u∗n ) が系列の先頭から剑‫׮‬鵚ְٔ‫ذيؤ‬ٝ‫ٖف‬٦‫ز‬               

再帰的に以下のように計算される．

()
α∗ (z1∗ , u∗1 ) = p z1∗ |z1R = πz∗∗ ,zR ,
(20)
1 1
(
)
∗
∗
α∗ (zm, u∗m ) = p xτ ∗ (m−1):τ ∗ (m)+1 |zm
, u∗m
∑∑
( ∗
)
ψz∗R∗ ,z∗ ,z∗ ϕ∗u∗m ,u∗m−1 α zm−1
, u∗m−1 . (21)
ρ (m)

∗
zm−1
u∗
m−1

m

m−1

バックワードサンプリングでは，バックワードメッセー∗
ジ γ ∗ (znR , uRn ) を再帰的に以下のように計算することで znと u∗n を再帰的に系列の終端から逆順にサンプルすること
ができる．

嚂陖

図4

テンプレートマッチングに基づくリズムパターン推定．

すので，リードギターとベースギターのパート譜はこれらの潜在変数から生成できる．ただし，同音の繰り返しは自L
己遷移で表現される（例えば，zn−1= znL = C3）．一方で，リズムギターの実際のオンセット・音価はコードシンボル

ZR と継続長 UR からは直接は決定できない．そこで，音楽的に自然な小節内のリズムパターンを得るために，一小節単位のリズムパターンのテンプレートの辞書（16 次元バ∗∗∗∗γ ∗ (zM∗ , uM ∗ ) = p(zM ∗ , uM ∗ |X)

イナリベクトル）を楽譜データから作成し，コサイン距離∗∗∝ α∗ (zM(22)∗ , uM ∗ ) ,
(
)
∗
∗
∗
∗
γ ∗ (zm, u∗m ) = p zm
, u∗m |zm+1:M∗ , um+1:M , X∝ ψz∗R∗∗∗α (zm, u∗m ) .
∗,z ∗,z ∗ ϕu∗m ,um+1
ρ (m) m+1 m(23)

3.4.1 章と同様に譜面を最終的に生成する際には，ビタビア
ルゴリズムで最尤な Z∗ と U∗ を推定することができる．

に基づくテンプレートマッチングを行う (図 4)．アクティ
ベーション HR の大体のピークの位置を検出して最も近いパターンを割り当てることで，リズムパターンの推定を行う．

4. 評価実験

3.4.3 基底スペクトル W とアクティベーション H の更新

提案モデルを評価するために多重音高推定とカバー譜生

ベイジアン NMF [5] の推論と同様に，W と H は条件付成の二つの観点から比較実験を行った．最初に，リズム・き事後分布 p(W, H|Z, U, X) から直接サンプリング可能で

リード・ベースギターの３つのパートのみから成るボーカ

ある．最新の W と H のサンプル値を使って得られる補助

ルやドラムを含まない音響信号に対して，多重音高推定と変数 λf t を以下のように定義する．

楽器割り当てを行い精度を評価した．次に，様々な楽器で

λ∗f t =

演奏される実際のポピュラー音楽に対してカバー譜生成をŵf∗ η(t) h∗t,
BŵfRηR (t) hRt + ŵfL ηL (t) hLt + ŵfBηB (t) ht(24)

λ を用いることで，W を以下のようにサンプリングできる．
(
)
∑
∑
∗
∗
∗
∗
∗
wif ∼ G αwif
xf t λf t , γwif
ht
(25)
∗ +
∗ +
t

t

同様に，H も以下のようにサンプリングできる．
∑∑h∗t ∼ G αh∗ ∗t +xf t λ∗f t , γh∗∗t +
wf∗ 
f
R

行い精度を評価した．

4.1 実験条件
オクターブあたりのビン数が 96，シフト幅 10ms，周波数帯域が 32.7 Hz (C1) から 8372.0 Hz (C9) の対数振幅スペ
クトログラムを定 Q 変換 [17] によって得た．ビート時刻は
予めビートトラッキング手法 [4] によって得られたものをR用いた．事前分布 WR のハイパーパラメータ aR
w , bw はア

(26)

f

R

W と H についても同様にサンプル可能である．

コースティックギターでローポジションの 24 種類のコードを弾いた MIDI シンセサイザで演奏した際のスペクトルから決定した．事前分布 W∗ のハイパーパラメータ a∗w , b∗wは同様に E3 から C6 の 33 種類，E1 から G3 の 28 種類の3.5 楽譜生成

音高を MIDI シンセサイザで演奏した際のスペクトルからZ, U, H を用いることで３つのギターのパート譜を生成決定した．アクティベーションのハイパーパラメータは経できる．Z, U, W, H のサンプリングを充分な回数行った

験的に ahRt = ah∗t = 1, bhRt = bh∗t = 1 とした．初期確率は

後にビタビ復号を行うことで，近似的に Z と U の最大事

π L = 1/33, π B = 1/28, π R = 1/24 とした．また ϕ と ψ は後確率推定が可能となる．事後確率を最大化する H は条

ビートルズを含む７アーティストの 132 曲の楽譜から事前件付き事後分布から得られる．

学習した．モデルの精度を以下に示す 16 部音符単位の再∗∗Z と U がそれぞれ音高とオンセットビート位置を表ⓒ 2018 Information Processing Society of Japan

現率，適合率，F 値で評価した．

5

Vol.2018-MUS-121 No.16
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Report
表3

表 2 多重音高推定・楽器割当の評価結果．
手法
パート
F
P
R
リード

FHSMM

ベース
リズム
リード

NMF

ベース
リズム

84 曲のポピュラー音楽 (RWC-MDB-P-2001) に対する
カバー譜推定結果.

27.7

31.5

26.0

評価尺度

F

P

R

(46.5)(50.6)(44.7)

正解

46.0

44.1

50.0

オクターブ誤りを許容した正解

73.0

70.9

76.5

72.2

70.8

73.6

(78.2)(76.7)(79.8)

52.0

45.2

62.5

(77.4)(76.4)(78.4)(HPSS) [7] と歌声分離 [12] を行い，伴奏音のみを抜き出し

16.1

20.2

14.0

た．再現率，適合率，F 値は式 (27) で計算される．ただし，(33.6)(39.4)(30.9)

26.3

25.6

27.0

伴奏パートは必ずしもギターのみならず様々な楽器で演奏(77.2)(75.6 )

(78.8)

42.8

37.4

51.0

されており，それを３つのパートのみで近似するので，再現率，適合率，F 値は最も高い場合でも 100 になるとは限(63.6)(65.2)(67.0)*カッコ内の数はオクターブ誤りを許容した再現率，適合率，F 値．

らない．
生成した結果の一例を図 7 に示す．生成した楽譜の再現率，適合率，F 値を表 3 に，84 曲の F 値の分布を図 6 に

Ntp
2RP
Ntp
, R=
, F=
,
P=
Nsys
Nref
R+P

(27)

示す．図 6 から分かるように，F 値は曲によって差が大き
い．結果を分析したところ，多くのパートから成る楽曲 (6

ここで Ntp は正しく推定された音符数，Nsys は推定されたパート以上等) では F 値は低くなる傾向があった．このよ

音符数，Nref は正解楽譜の音符の総数である．

うな楽曲に対処するためには，余分な音を吸収するノイズモデルが必要である．同様に，対象楽曲の構成楽器が極端

4.2 複数楽器多重音高推定に少ない場合 (弾き語り等) でも F 値が低くなる傾向であっ

提案手法の多重音高推定・楽器割り当ての精度を定量的た．我々のモデルは 3 つのパートを仮定しているので，こに評価した．リズム・リード・ベースギターが明瞭であるのような楽曲を扱えないのはモデルの限界といえる．一方

３曲のポピュラー音楽 (RWC-MDB-P-2001 No. 12, No. 51,

で，図 7 に示すように，3 つのパートのみで曲の大部分を

No. 70) を RWC 音楽データベース [9] から選び，実験に用再現できている生成結果も見られた．このような生成結果

いた．３つのパートのパート別音源を足し合わせることでは，我々のモデルの能力を表しているといえる．しかしな

３つの楽器のみから成る音源を作成し実験に用いた．比較

がら，まだ改善の余地も大いにある．例えば，特にリードのために 85 個の基底 (リズムギター基底 24 個, リードギ

ギターで音楽的に不自然なオンセットや音価がみられた．

ター基底 33 個，ベースギター基底 28 個) を持つ教師付き

この問題の原因の一つは，現在のモデルで休符を扱ってい

NMF で，それぞれのパートで各フレームごとに最も大きないことである．ノイズモデルの導入で休符の生成を可能なアクティベーションの基底が選択されるものを実装し，にすることで，より自然な生成結果が期待できる．

同様に精度を評価した．
表 2 に示す通り，提案手法が比較手法よりも精度が高

5. おわりにかった．図 5 に示す通り，提案手法ではメロディパート，

本稿では多重音響信号からのカバー譜を生成する枠組み

ベースパートに正しく追従できており，楽器割り当てを正を提案し，原曲を近似的に再構成する自動採譜の新しい研しく行えている．提案手法のリードギター推定結果の F 値

究トピックについて述べた．我々のモデルはリズムギター

が 27.7% と低いが，オクターブ誤りを許容すると 46.5% まのコード列，リードギターのメロディ，およびベースギ

で上がり，これは比較手法の 33.6% を大きく上回る．比較

ターのベースラインに対応する３本のマルコフチェインを手法に比べ提案法の優位性は示されたものの，依然として持つ FHSMM で構成される．楽曲のスペクトログラムはそ

精度は低く，改善の余地は多い．局所解を抜け出し，このれらのマルコフチェインから独立に生成される低ランクのようなオクターブ誤りを減らすには，Z と U のサンプリン

スペクトログラムの和で表現される．ポピュラー音楽のよグにオクターブ誤りを考慮した提案分布を持つマルコフ連

うな複雑な音響信号からのカバー譜生成において，本手法

鎖モンテカルロ (MCMC) 法を用いることが考えられる．

が有効であることを実験により示した．
本手法にはまだ改善の余地が多く残されている．主に

4.3 カバー譜生成

リードギターが休符を表現できるようにするために，ノイ提案手法によるカバー譜生成の精度を評価した．RWC

ズモデルの導入が必要だと考えられる．また，一次マルコ

研究用音楽データベースのポピュラー音楽 100 曲のうち，

フモデルでは音符の遷移を十分に表現できないため，音楽

拍子が 4/4 でありビートトラッキングが正しく行われた的に不自然な楽譜の生成を避けられなかった．考えられる

84 曲を実験に用いた．前処理として，調波打楽器音分離解決策として，変分オートエンコーダ (VAE) [13] や敵対ⓒ 2018 Information Processing Society of Japan

6

Vol.2018-MUS-121 No.16
2018/11/21

情報処理学会研究報告.*%*‫ظ‬٦‫ز‬殢〾.*%* ‫ظ‬٦‫ز‬殢〾

IPSJ SIG Technical Report












1SPQPTFE -FBE












㼭眍殢〾
図5







/.' #BTT














筮姻鍑
ꫬ姻鍑 ‫׫ךأؙٓثحؾ‬饔䯏Ⰵ铎‫׶‬抩⵴ꤐ铎‫׶‬



㼭眍殢〾





'⦼ 

本 研 究 の 一 部 は ，JSPS 科 研 費 No. 26700020，No.
16H01744，JSPS 特別研究員奨励費 No. 16J05486，および JST ACCEL No. JPMJAC1602 の支援を受けた .





図6







嚂刼 *%







参考文献
[1]

カバー譜生成結果の F 値の分布．

姻鍑姻鍑 ‫׫ךأؙٓثحؾ‬䯏Ⰵ铎‫׶‬
⵴ꤐ铎‫׶‬[2].*%* ‫ظ‬٦‫ز‬殢〾



[3]






図7



/.' -FBE

6. 謝辞







筮姻鍑
ꫬ姻鍑 ‫׫ךأؙٓثحؾ‬饔䯏Ⰵ铎‫׶‬抩⵴ꤐ铎‫׶‬

RWC-MDB-P-2001 No.12. のリード・ベースギターのピアノロール







筮姻鍑
ꫬ姻鍑 ‫׫ךأؙٓثحؾ‬饔䯏Ⰵ铎‫׶‬抩⵴ꤐ铎‫׶‬

 1SPQPTFE #BTT





筮姻鍑
ꫬ姻鍑 ‫׫ךأؙٓثحؾ‬饔䯏Ⰵ铎‫׶‬抩⵴ꤐ铎‫׶‬












㼭眍殢〾





[4]

RWC-MDB-P-2001 No.51/Piece ID 45. の生成結果
コンデンスピアノロール[5]

的生成ネットワーク (GAN) [8] のような深層生成モデルの導入が考えられる．さらに，ノンパラメトリックベイズの[6]ような手法を取り入れることで，３本のギターに限らず任意の数のパート譜を生成できるシステムへの拡張も考えられる．将来的に，自動ドラム採譜や歌声採譜と組あわせる[7]

ことでボーカル・ギター・ドラムから成るバンド編成のカ
バー演奏の為の楽譜を生成するシステムの開発を目指している．

ⓒ 2018 Information Processing Society of Japan[8]

Shunya Ariga, Satoru Fukayama, and Masataka Goto.
Song2Guitar: A difficulty-aware arrangement system forgenerating guitar solo covers from polyphonic audio of popular music. In International Society for Music Information
Retrieval Conference (ISMIR), pages 568–574, 2017.
Emmanouil Benetos, Roland Badeau, Tillman Weyde, andGaël Richard. Template adaptation for improving automaticmusic transcription. In International Society for Music Information Retrieval Conference (ISMIR), pages 175–180, 2014.
Rachel M Bittner, Brian McFee, Justin Salamon, Peter Li,
and Juan P Bello. Deep salience representations for f0 estimation in polyphonic music. In International Society forMusic Information Retrieval Conference (ISMIR), pages 23–
27, 2017.
Sebastian Böck, Filip Korzeniowski, Jan Schlüter, Florian
Krebs, and Gerhard Widmer. Madmom: A new python audio and music signal processing library. In Proceedings ofthe 2016 ACM on Multimedia Conference, pages 1174–1178.
ACM, 2016.
Ali Taylan Cemgil. Bayesian inference for nonnegative matrix factorisation models. Computational intelligence andneuroscience, 2009.
Shih-Chuan Chiu, Man-Kwan Shan, and Jiun-Long Huang.
Automatic system for the arrangement of piano reductions. In
IEEE International Symposium on Multimedia (ISM), pages
459–464, March 2009.
Derry Fitzgerald. Harmonic/percussive separation using median filtering. In International Conference on Digital Audio
Effects (DAFX), pages 1–4, 2010.
Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing
Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, andYoshua Bengio. Generative adversarial nets. In Advances in

7

情報処理学会研究報告
IPSJ SIG Technical Report

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]
[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

Vol.2018-MUS-121 No.16
2018/11/21

Neural Information Processing Systems, pages 2672–2680,
2014.
M. Goto, H. Hashiguchi, T. Nishimura, and R. Oka. RWC
music database: Popular, classical and jazz music databases.
In International Conference on Music Information Retrieval(ISMIR), pages 287–288, 2002.
Graham Grindlay and Daniel PW Ellis. Transcribing multiinstrument polyphonic music with hierarchical eigeninstruments. IEEE Journal of Selected Topics in Signal Processing,
5(6):1159–1169, 2011.
M. Hamanaka, M. Goto, H. Asoh, and N. Otsu. A learningbased quantization: Unsupervised estimation of the model
parameters. In Proc. International Computer Music Association, pages 369–372, 2003.
Andreas Jansson, Eric J Humphrey, Nicola Montecchio,
Rachel Bittner, Aparna Kumar, and Tillman Weyde. Singing
voice separation with deep U-Net convolutional networks. In
International Society for Music Information Retrieval Conference (ISMIR), pages 323–332, 2017.
Diederik P Kingma and Jimmy Ba. Adam: A method forstochastic optimization. arXiv preprint arXiv:1412.6980,
2014.
Emilio Molina, Lorenzo J Tardón, Ana M Barbancho, andIsabel Barbancho. Sipth: Singing transcription based on hysteresis defined on the pitch-time curve. IEEE/ACM Transactions on Audio, Speech and Language Processing, 23(2):252–
263, 2015.
Graham Percival, Satoru Fukayama, and Masataka Goto.
Song2Quartet: A system for generating string quartet coversongs from polyphonic audio of popular music. In International Society for Music Information Retrieval Conference(ISMIR), pages 114–120, 2015.
C. Raphael. A hybrid graphical model for rhythmic parsing.
Artificial Intelligence, 137:217–238, 2002.
Christian Schörkhuber and Anssi Klapuri. Constant-Q transform toolbox for music processing. In Sound and Music Computing Conference, Barcelona, Spain, pages 3–64, 2010.
Siddharth Sigtia, Emmanouil Benetos, and Simon Dixon. An
end-to-end neural network for polyphonic piano music transcription. IEEE/ACM Transactions on Audio, Speech andLanguage Processing, 24(5):927–939, 2016.
Paris Smaragdis and Judith C Brown. Non-negative matrix
factorization for polyphonic music transcription. In IEEE
Workshop on Applications of Signal Processing to Audio andAcoustics, pages 177–180. IEEE, 2003.
Carl Southall, Ryan Stables, and Jason Hockman. Automatic
drum transcription using bi-directional recurrent neural networks. In International Society for Music Information Retrieval Conference (ISMIR), pages 591–597, 2016.
Daniel R Tuohy and Walter D Potter. GA-based music arranging for guitar. In IEEE Congress on Evolutionary Computation (CEC), pages 1065–1070. IEEE, 2006.
Emmanuel Vincent, Nancy Bertin, and Roland Badeau.
Adaptive harmonic spectral decomposition for multiple pitch
estimation. IEEE Transactions on Audio, Speech, and Language Processing, 18(3):528–537, 2010.
Emmanuel Vincent and Xavier Rodet. Music transcription
with isa and hmm. In International Conference on Independent Component Analysis and Signal Separation, pages
1197–1204. Springer, 2004.
Chih-Wei Wu and Alexander Lerch. Drum transcription using partially fixed non-negative matrix factorization with template adaptation. In International Society for Music Information Retrieval Conference (ISMIR), pages 257–263, 2015.

ⓒ 2018 Information Processing Society of Japan

8