情報処理学会研究報告

Vol.2016-MUS-112 No.6
2016/7/30

IPSJ SIG Technical Report

調・コード・音高・スペクトログラムの階層ベイズモデルに基づく多重音解析
尾島 優太1,a)

中村 栄太1,b)

糸山 克寿1,c)

吉井 和佳1,d)

概要：本稿では，音楽音響信号から教師なしで音高とコードを同時推定するための手法を提案する．従来より多重音音高推定には非負値行列因子分解（NMF）が広く用いられてきた．NMF を用いた手法では，ピアノの鍵盤に対応する各音について音量の時間的変化を推定し，それを閾値処理することでピアノロールを出力していた．このような段階的な処理では適切な閾値を決定することが困難であり，さらに同時に出現する音高間の関係が考慮されず，音楽的に不自然な結果となるといった問題があった．本研究ではこの問題を解決するため，スペクトログラムの生成過程を表現する音響モデルに，ピアノロールの生成過程を表現する音楽文法としての言語モデルを統合した階層ベイズモデルを提案する．実験の結果，提案法により音楽文法の一種であるコード構造が正しく獲得でき，さらに自動採譜への活用の可能性が確認された．

1. はじめにコードは相互に依存する鶏と卵の関係にあるため，互いの情報を利用して同時に推定する必要がある．

計算機による自動採譜の最終的な目標は，楽譜の主要要

本稿ではこの問題を解くため，コードと音高の依存関係

素である音高，音価を音楽音響信号から獲得することであを考慮しつつ，教師なしで音楽音響信号からコードと音高る．本研究ではこの自動採譜問題の一部である多重音の音を推定するための統計的手法を提案する．詳細には，生成高推定を扱う．具体的には，音楽音響信号を入力として二モデルとして，音高からスペクトログラムが生成される過値のピアノロール形式の楽譜を出力することが目的である．

程を表す音響モデル（NMF に基づく確率モデル）と調及音高推定には従来より非負値行列因子分解（NMF）が広びコード列から音高が生成される過程を表す言語モデル

く用いられてきた [1–7]．NMF は観測音響信号のスペクト（HMM）を統合した階層ベイズモデルを定式化する．本

ログラムを，各音高の周波数スペクトルを表す基底行列とモデルの特徴は，各音の存在を表す二値変数を NMF の枠

各音の時間的音量変化を表すアクティベーション行列の積組みに導入した点である．これにより言語モデルの HMMの形に近似し分解する手法である．音高推定では，NMF

は，ピアノロールを表す二値変数を観測としてモデル化すにより得られたアクティベーション行列に対し閾値処理やることができる．統合されたモデルでは与えられたスペク

隠れマルコフモデル（HMM）に基づく二値化を行うこと

トログラムに基づき，ギブスサンプリングを用いてすべてにより，各音高の存在を決定する [7, 8]．

の隠れ変数（音高とコード）が同時に推定される．

しかし，このような手法には二つの問題が存在した．一

本研究により，音楽音響信号から教師なしでの音楽文法

つ目は，曲ごとに適切な閾値を設定することの困難さであの推論が可能となった．本研究でのモデル統合は自動音声

る．二つ目は，推定結果の音楽的な不自然さである．これ認識（ASR）と同様の試みであるが，本研究は両方のモデは，推定の際に各音の間の関係性が考慮されないために生ルを教師なしで学習するという点で異なる．さらに，ASRじるものである．実際の音楽では和声構造が存在し，あるのモデルは単語とスペクトログラムの二階層からなるが，種の音高の組み合わせ（例えば C，G，E）が同時に発音本研究のモデルではコード，音高及びスペクトログラムのされてコード（C メジャー）を形成する．さらにコードは三階層からなる点でも異なる．この違いは言語モデルとし時間的に変化し，典型的なコード進行を形成する．音高とて n-gram モデルであるマルコフモデルではなく隠れマル

1
a)
b)
c)
d)

京都大学 大学院情報学研究科
ojima@sap.ist.i.kyoto-u.ac.jp
enakamura@sap.ist.i.kyoto-u.ac.jp
itoyama@kuis.kyoto-u.ac.jp
yoshii@kuis.kyoto-u.ac.jp

c 2016 Information Processing Society of Japan⃝

コフモデルを用いているために生じるものである．

2. 関連研究
本節では多重音音高推定（音響モデル）と音楽理論の実

1

情報処理学会研究報告

Vol.2016-MUS-112 No.6
2016/7/30

IPSJ SIG Technical Report

装及び音楽文法推論（言語モデル）についての関連研究を概観する．

2.1 音響モデル

音楽信号解析に対するアプローチは非負値行列因子分解

言語モデル
調

E♭

A♭ E♭

F

コード

（NMF）によるものが主流である [1–6, 9]．Cemgil ら [9]音高基底

アクティベーション

は NMF に対するベイズ推論の枠組みを示し，それにより様々な事前分布の導入が可能となった．Hoﬀman ら [3] はスペクトログラムガンマ過程 NMF と呼ばれる NMF のノンパラメトリック
ベイズモデルを提案し，これにより基底数の自動推定が可図 1能となった．Liang ら [6] は各基底の各時間フレームに対音響モデル

提案法の全体像．

し二値変数を導入したベータ過程 NMF を提案した．NMF

クを用いてコード進行と多重音の音高を同時推定し，単純の別の拡張としては，基底を，基本周波数を表すソースとな音響モデルの下でもよい性能を出している．近年では言音色を表すフィルターにさらに分解するソースフィルタ

語モデルとして再帰型ニューラルネットワークを用いて音NMF [4] が存在する．

高間の関係を記述するモデルも提案されている [20, 21]．

2.2 言語モデル

3. 提案法音楽の背後に存在する音楽理論の推定及び実装も研

本節では提案法である，音楽音響信号から時間フレーム

究されている [10–12]．例えば，音楽の様々な要素を一単位で音高とコードを同時推定するための手法について説

つの枠組みで記述した Generative Theory of Tonal Mu-

明する．まず，観測される音楽スペクトログラムが生成さ

sic (GTTM) [13] を計算機向けに定式化する試みがある．

れる過程の確率的生成モデルとしての定式化について述べ

Hamanaka ら [10] は計算機による実装を通して GTTM をる．提案する生成モデルは，音響モデルと言語モデルが，再定式化し，タイムスパン木と呼ばれる，音楽構造を表す

各音高の存在を表す二値変数列であるピアノロールにより木構造を自動獲得するための手法を提案した．Nakamura

結び付けられた階層構造となっている（図 1）．ピアノローら [11] も確率文脈自由文法を用いて GTTM を再定式化し，

ル，基底スペクトル及び各音の音量の時間的変化から音楽

その推論アルゴリズムを提示した．

スペクトログラムが生成される過程を音響モデルにより表

一方で，教師なしで音楽理論を推論する試みも存在す

現し，調，コード列からコード進行及び同時に出現する音

る．Hu ら [12] は潜在的ディリクレ配分法を拡張し，同じ高の組み合わせが生成される過程を言語モデルにより表現

調性を持つ曲では同じ音が出やすくなるという知見に基づする．最後に，逆問題として，与えられた音楽スペクトロ

いて，楽譜及び音響信号から調を決定するための手法を提グラムを用いたモデル内の確率変数の推定について述べる．

案した．この手法により，ラベル付けされた教師データなしで，ある調のもとでの各音の出やすさを獲得することが可能となった．

3.1 問題設定

多重音音高推定の目標は音楽音響信号からピアノロール

また，コードの概念も音楽文法の一種として考えられ形式の出力を得ることである．すなわち，周波数ビン数をる．教師データを用いたコード推定のための統計的手法

F ，時間フレーム数を T としたときに，音楽音響信号のは広く研究されてきた [14–17]．Rocher ら [14] は与えら

×T
対数周波数領域のスペクトログラム X ∈ RFを，K 種+

れた楽譜に対し，ありうるコード遷移を有向グラフで表し，その中の最適経路を計算することでコード認識を試みた．Sheh ら [15] はクロマベクトルと呼ばれる音響特徴量を用いて音楽音響信号からコードを推定した．この手法ではコードラベルを隠れ変数とし，観測がクロマベクトルであるような HMM を構成し，コード列を決定する．Maruo

類の音高及び T 個の時間フレームからなるピアノロール

S ∈ {0, 1}K×T に変換することが目的である．さらに，本手法ではコード列 Z = {zt }Tt=1 の推定も行う．

3.2 音響モデル定式化

音響モデルは二値変数を持つベータ過程 NMF [6] とら [16] はクロマベクトルと NMF の双方を用いてコード推同様に定式化される（図 2）．与えられたスペクトログラ

定を行い，コード推定精度の向上を実現した．これらの手×T×Kム X ∈ RFは基底 W ∈ RF
，アクティベーション++

法はいずれもラベル付けされた教師データが必要であり，
そのアノテーションの際にコードの概念が必要である．さらに，コード列を音高推定に利用する試みも行われている [18, 19]．これらの手法では動的ベイジアンネットワー

c 2016 Information Processing Society of Japan⃝H ∈ RK×T
及び二値変数 S ∈ {0, 1}K×T の積の形として，+
以下に示すように分解される．
!"#
K
Xf t |W , H, S ∼ Poisson
W
H
S
f
k
kt
kt
k=1

(1)

2

情報処理学会研究報告

Vol.2016-MUS-112 No.6
2016/7/30

IPSJ SIG Technical Report

コード進行

二値変数

基底

要素積

Aԕ

Eԕ

Eԕ

Bԕ

F

⋯

アクティベーション

は遷移確率に従う
二値変数

ピアノロールに対応⋯⋯

は出力確率に従う

84音
スペクトログラム

図 2

音響モデルの全体像．

図 3

ここで，{Wf k }F
f =1 は k 番目の基底スペクトルを，Hkt は
基底 k の時刻 t における音量を，Skt は時刻 t において k 番
目の基底が使われているかどうかを示す二値変数を表す．
基底スペクトル W は，調波構造を表すスペクトルと非調波構造を表すスペクトルの二種類で構成される．本研究では調波構造スペクトルとして Kh 個の異なる音高に対応する Kh 個のスペクトルと，非調波構造スペクトルとして一つのスペクトルを用意する（K = Kh + 1）
．同じ楽器では音高の異なる調波構造は音高に応じてシフトされただけの関係であり調波構造は変化しないと仮定すると，調波構
造 W は，k = 1, . . . Kh について$%
h F
{Wf k }F
f =1 = shift {Wf }f =1 , ζ(k − 1)(2)構造テンプレートであり，shift (x, a) は x = [x1 , . . . , xn ]Tを [0, . . . , 0, x1 , . . . , xn−a ]T へとシフトする演算である．また，ζ は半音の音程に対応する周波数ビン数である．
調波構造テンプレートと非調波構造スペクトルに対し，二種類の事前分布を用意する．まず，調波構造テンプレー
トは，次式に示すようにガンマ分布を事前分布として用意
し，スパースになるように誘導する．

(5)

kt

ここで，η H は滑らかさを決定するハイパーパラメータで，GH
kt は Hk(t−1) と Hkt が正の相関を持つように導入した補助変数である．

3.3 言語モデル定式化

言 語 モ デ ル は ，マ ル コ フ 性 を 持 つ コ ー ド 列 Z =変数 S = {s1 , . . . , sT } （st ∈ {0, 1}Kh ）を出力する HMMとして定式化される（図 3）．ここで I は隠れ状態の種類，
すなわちコードの種類であり，Kh は出現する可能性がある音高の数を表す．また，HMM のパラメータの一部（遷移確率，初期確率のハイパーパラメータ）は調により決定されるモデルとすることで，調についても同時推定を行う．なお，提案モデル全体で考えると，S は実際には隠れ変数である．調の総数を J ，曲全体の調を表す番号を D（D ∈ {1, . . . , J}）とすると，HMM は以下に示すように定式化される．

(3)

ここで，ah と bh はハイパーパラメータである．一方，非調波構造スペクトルは，次式に示すように逆ガンマ連鎖事
前分布 [22] を事前分布として用意し，周波数方向になめらかになるように誘導する．

!
"
n
W
ηW
GW
f |Wf −1 ∼ IG η , Wf −1 ,!
"W ηW
Wfn |GW
f ∼ IG η , GW

対し下式に示す逆ガンマ連鎖事前分布を与える．
!
"
H
ηH
GH
kt |Hk(t−1) ∼ IG η , Hk(t−1) ,!
"H ηH
Hkt |GHkt ∼ IG η , GH

{z1 , . . . , zT }（zt ∈ {1, . . . , I}）を隠れ変数に持ち，二値となる．ここで，{Wfh }F
f =1 はどの音高でも共通する調波$%Wfh ∼ G ah , bh

言語モデルの全体像．

z1 |φD ∼ Categorical(φD ),(6)

zt |zt−1 , ψD,zt−1 ∼ Categorical(ψD,zt−1 ),(7)

Skt |zt , πzt k ∼ Bernoulli(πzt k )(8)

ここで ψD,i ∈ RI は調 D の下でのコード i からの遷移確率，φD ∈ RI は調 D の下での初期確率，πzt k はコード ztの下で k 番目の音高が出力される確率を表す．

(4)f

ここで，η W は滑らかさを決定するハイパーパラメータで，nn
GWf は Wf −1 と Wf が正の相関を持つように導入した補助変数である．

アクティベーション行列 H も基底行列 W と同様に定式

これらのパラメータに対し，共役事前分布

ψD,i ∼ Dir(1I ),φD ∼ Dir(1I ),πzt k ∼ Beta(e, f )(9)をおく．ここで 1I は全要素が 1 の I 次元ベクトルであり，化される. Hkt がほぼ 0 となってしまうと Skt の値が NMF

e と f はハイパーパラメータである．

Hkt の事前分布として逆ガンマ分布をおくことで Hkt が常にある程度の値を持つように誘導すればこの問題は回避できる．さらに，時間方向の滑らかさを導入するため，H に高（C，C#，. . .，B）分だけを用意し，これをすべてのオに影響を与えず，S がマスクとしての機能を果たさない．

c 2016 Information Processing Society of Japan⃝

実際には出力確率には 1 オクターブ内に出現する 12 音
クターブで使うことで Kh 種類の音高を表現する．さらに，
コードのうち，種類が同じで根音が異なるものについては

3

情報処理学会研究報告

Vol.2016-MUS-112 No.6
2016/7/30

IPSJ SIG Technical Report

出力確率を共有し，根音の位置に応じて巡回シフトしたも

P1 = p(Skt = 1|S¬k,t , xt , W , H, π, z, α)
(13)
!
#
Xf t
&
∝ πzαk f X̂f¬kexp{−Wf k Hkt },t + Wf k Hktのとする．本稿では簡単のため，コードの種類として 2 種類のみを考える（I = 2 × 12）．これは，メジャーコードとマイナーコードを想定したものである．

P0 = p(Skt = 0|S¬k,t , xt , W , H, π, α)#X f t& !
∝ (1 − πzk )α f X̂f¬kt

次に，調に関するモデル化を考える．調 D は以下に示す
事後分布に従う．

D ∼ Categorical(δ),δ ∼ Dir(1J )(10)

ここで，1J は全要素が 1 の J 次元ベクトルであり，δ は各調の選ばれやすさを表す．また，HMM における遷移確率及び初期確率については，データを効率的に利用するた
め，長調，短調の二種類のみを用意し，調の主音に応じてシフト巡回することで決定する．すなわち，主音が b，種類が k ∈ {major, minor} なる調 D の下での初期確率及び遷移確率 φD , ψD,i は，下式に従い決定される．

ここで，X̂f¬k
t ≡

"

(14)

l̸=k Wf l Hlt Slt は k 番目の基底を用いずに再構成された振幅スペクトログラムの周波数ビン f ，時
間フレーム t における値を表し，α は言語モデルの重みを決定づけるパラメータである．このような言語モデルの重み付けは ASR でも行われる．α が 1 以外の値をとるとき，正規化項を解析的に計算することは不可能であり，ギブス
サンプリングを用いることはできない．そのため，代わりに式 (12) を提案分布としたメトロポリス・ヘイスティング法を用いてサンプルする．

3.4.2 音響モデルの更新

音響モデルのパラメータ W h ，W n ，H はギブスサンプ

φD = rot(φk , b),

ψD,i = rot(ψk,⌈i+b,12⌉ , b)(11)

ここで，φk は調種類が k の下での初期確率，ψk,i は調種
類が k の下での状態 i からの遷移確率であり，⌈a, x⌉ は

a mod x を表す．また，rot(x, a) は x = [x1 , . . . , xn ]T をリングによりサンプルされる．これらのパラメータは，事前分布としてガンマ分布を持つ W h と逆ガンマ分布を持つ

W n ，H に大別される．ベイズ則に基づき，W h の条件付
き事後分布は

Wfhk ∼ G[x⌈1−a,n⌉ , . . . , x⌈n−a,n⌉ ]T へと巡回シフトする演算である．

$"

h

,

"

t Hkt Skt + b

h

%

(15)

となる．ここで，λf tk は最新のサンプル値 Ŵ ，Ĥ ，Ŝ を

3.4 事後分布推論

以上のモデルについて，観測データ X が与えられた下で用いて計算される正規化項であり，下式により計算される．

の事後分布 p(W , H, S, z, π, ψ|X) を推論する必要があるŴ

にあるように，マルコフ連鎖モンテカルロ法を用いて推論を行う．音響モデルと言語モデルは二値変数のみを共有するため，二値変数が与えられるとそれぞれのモデルは独立に更新できる．これら二つのモデルと二値変数をサンプリ
ングにより交互に更新し，最後に言語モデルの隠れ変数（コード進行）はビタビアルゴリズムにより推定する．また，二値変数（ピアノロール）は尤度が最大となるパラメー
タを用いて決定される．

3.4.1 二値変数の推論

二値変数 S は音響モデルと言語モデルの双方を結びつけるパラメータであり，各音の使われやすさはコードにより決定され，各音が使われたかどうかが再構成されたスペ
クトログラムに影響する．そのため，音響モデルを尤度関数，言語モデルを事前分布とみなし，ベイズ則に基づき計算される事後分布を用い，二値変数をサンプルする．これは以下に示すように定式化される．

!

P1
P1 +P0#

ここで P1 と P0 は下式により計算される．

c 2016 Information Processing Society of Japan
⃝

Hˆ Sˆ

kt
λf tk = ! fWkˆ kt
Hˆ Sˆが，解析的に計算することは不可能である．そのため，[23]Skt ∼ Bernoullit Xf t λf tk + a

l

fl

lt

(16)

lt

一方，残りのパラメータは補助変数を用いてサンプルされる．H については，式 (5) に示すように GH と相互依存関係にあるため，同時にサンプルすることはできない．そのため，H と GH を交互にサンプルする．観測 X の影響を考慮しない場合，GH の条件付き事後分布は
!
!
##
1
1
GH
kt ∼ IG 2ηH , ηH Hkt + Hk(t−1)
であり，同様に H の条件付き事後分布は，##$$
Hkt ∼ IG 2ηH , ηH GH1
+ G1H

(17)

(18)

kt

k(t+1)となる．これと同様に GW ，W n の条件付き事後分布は
!
!
""
1
1
GW
,
(19)
f ∼ IG 2ηW , ηW
Wfn + Wfn−1!
!
""
1
Wfn ∼ IG 2ηW , ηW GW
+ G1W
(20)
f +1

f

となる．式 (18) を事前分布とみなし，式 (15) と同様にベイズ則とイェンゼンの不等式を用いることで，観測 X を考慮した，H の条件付き事後分布は以下に示すように計算(12)される*1 ．
*1

p
2

(a/b)
√
xp−1 exp(−
GIG(a, b, p) ≡ 2K
( ab)

分布を表す

p

b
ax+ x
) は一般化逆ガウス
2

4

情報処理学会研究報告

Vol.2016-MUS-112 No.6
2016/7/30

IPSJ SIG Technical Report!
#""
Hkt ∼ GIG 2Skt f Wf k , δH , f Xf t λf tk − γH

ここで，γH = 2ηH ，δH = ηH ( GH1

k(t+1)+ G1H ) とおいた．全

く同様に，W n の条件付き事後確率は

Wfnk ∼ GIG (2"t Hkt Skt , δW ,"ktとなる．p(φ)，p (ψi ) はそれぞれ p(z1 |φ, D)，p(zt |zt−1 ,ψzt−1 , D) の共役事前分布なので，簡単に事後確率が計算できる．ei を i 番目の要素が 1 である単位ベクトル，ai を

j 番目の要素が状態 i から状態 j への遷移の回数を表す It Xf t λf tk − γW )次元ベクトルとすると，φ 及び ψi は以下の事後分布に従いサンプルされる．

となる．ただし，γW = 2ηW ，δW = ηW ( GW + G1W ) で
f +1
f
1

φ|S, D, z, π, Ψ ∼ Dir (1I + ez1 ) ,ある．

3.4.3 言語モデルの更新

言語モデルの隠れ変数 Z は以下の条件付き事後分布に従いサンプルされる．

p(zt |S, D, π, φ, Ψ) ∝ p(s1 , . . . , st , zt |D)

ψi |S, D, z, π, φ ∼ Dir (1I + ai ) .

(29)

実際には ψi , φ は調に応じて巡回シフトしているので，観測された回数も適切に巡回シフトする必要がある．

(21)

ここで，π は出力確率を，φ は初期確率を，Ψ = {ψ1 , . . . , ψI }は各状態からの遷移確率を表す．Z ，S は条件付き独立なので Eq. (21) の右辺は更に分解され，調の事後分布は，ベイズ則に基づき，下式のように表される．

p(D|Z, φ, Ψ, δ) ∝ p(Z|D, φ, Ψ)p(D|δ)(30)

ここで，Z, φ, Ψ は既知であるので，p(Z|D, φ, Ψ) は全てp(s1 , . . . , st , zt |D)"= p(st |zt ) zt−1 p(s1 , . . . , st−1 , zt−1 |D)p(zt |zt−1 , D),の D について解析的に計算できる．また，式 (10) より

p(s1 , z1 |D) = p(z1 |D)p(s1 |z1 ) = φD,z1 p(s1 |πz1 ) (23)p(δ|D) ∝ p(D|δ)p(δ)(22)と 表 せ る ．式 (22) と 式 (23) よ り ，p(s1 , . . . , sT |zT ) は

再 帰 的 に 計 算 さ れ（ フ ォ ワ ー ド フ ィ ル タ リ ン グ ），zT ∼ p(s1 , . . . , sT |zT ) に従い zT をサンプルする．また，
zt+1 , . . . , zT が与えられた下でp(zt |S, zt+1 , . . . , zT , D) ∝ p(s1 , . . . , st , zt |D)p(zt+1 |zt , D)
(24)

に従い zt をサンプルする．p(s1 , . . . , st , zt ) は式 (22) で計算されるので，このサンプルも再帰的に行われる（バックワードサンプリング）．

(25)の事後分布は解析的に計算できる．Ci を Z 内でのコード"i ∈ {1 . . . I} の出現回数，ci ≡ t∈{t|zt =i} st を zt = i なる時間フレーム t における st の総和を表す Kh 次元ベクトルとすると，パラメータ π は以下の条件付き事後分布に従いサンプルされる．

であり，p(δ) は p(D|δ) の事前分布なので，結局

δ|D ∼ Dir(1J + eD )

(32)

となる．

4. 評価実験
提案法の音高推定精度を評価するため，比較実験を行った．まず事前実験として，正しいピアノロールが与えられたときに言語モデルが正しくコード進行及び出力確率を推推定した場合の推定精度を比較した．

4.1 実験条件

実験には MAPS データベース [24] から，“ENSTDkCl”のラベルが付いている 30 曲を用いた．いずれの曲もモ
ノラル信号に変換した後，冒頭 30 秒を切り出して使用した．振幅スペクトログラムは変 Q 変換 [25] により得られた 926 × 10075 の行列を MATLAB の resample 関数によ(26)

同様に，遷移確率 ψi 及び初期確率 φ の事後分布はp(φ|S, D, z, π, Ψ) ∝ p(z1 |φ, D) p(φ)(27)&
p(ψ|S, D, z, π, φ) ∝ t p(zt |zt−1 , ψzt−1 , D) p(ψzt−1 )(28)

c 2016 Information Processing Society of Japan⃝(31)

高推定した場合と，提案法である統合モデルを用いて音高となる．p (π) は p (S|π, z, φ, Ψ) の共役事前分布なのでこπ|S, z, φ, Ψ ∼ Beta (e + cik , f + Ci − cik ) .

また，調のパラメータである δ の事後分布は定することを確認した．次に，音響モデルのみを用いて音出力確率 π の事後分布はベイズ則より，

p (π|S, z, φ, Ψ) ∝ p (S|π, z, φ, Ψ) p (π)

p(D|δ) = δD なので，式 (30) に従い D をサンプルする．

り 926 × 3000 へと変換したものを用いた．さらに，事前処理として調波・非調波音分離（HPSS）[26] を行った．なお，元の論文とは違い HPSS は対数周波数領域に対して行っており，メディアンフィルタ幅は時間フレーム方向
は 50，周波数方向は 40 とした．ハイパーパラメータはI = 24, ah = 1, bh = 1, an = 2, bn = 1, c = 2, d = 1, e =5, f = 80, α = 1300, ηW = 800000, ηH = 15000 とし，こ5情報処理学会研究報告

Vol.2016-MUS-112 No.6
2016/7/30

IPSJ SIG Technical Report
表 1

図 4

事前実験の結果得られた出力確率．

30 曲に対する音高推定結果．

実験条件

F

R

P

言語モデル＋音響モデル（提案法）

65.0

67.3

62.8

コード遷移なし（条件 1）

64.7

64.7

64.7

コードを用いて事前学習（条件 2）

65.5

65.3

65.6

コード無しで事前学習（条件 3）

65.0

65.5

64.6

れは実験的に決定した．出力確率は 12 音に対して用意され，これを全てのオクターブで共有することで 84 音
高分の出力確率とした．更に遷移確率は，自己遷移確率（p(zt+1 = zt |zt )）を 1 − 8.0 × 10− 8 で固定し，他状態への遷移が 3.4.3 節で示したディリクレ分布に従うものとした．

4.2 ピアノロールに対するコード推定

まず最初に，言語モデルが出力確率及びコード進行を正しく推定できることを確認するため，予備実験を行った．予備実験では入力として，MIDI 番号 21–104 に対応

図 5

コード推定精度と f 値の向上幅の相関．

図 6

音楽音響信号から推定された出力確率．

する 84 音に対する正解のピアノロールを 30 曲分連結した

84 × 90000 の行列を用いた．これに対し，言語モデルのうち調推定部分を除くコード推定部分を用いて，コード推定
精度及び出力確率の推定を行った．コード推定精度は，推定コードと正解コードが一致した時間フレーム数の割合で評価した．コード種類としてはメジャーとマイナーの 2 種類のみを想定して用意したため，正解コードにおける「メジャー」と「メジャーセブンス」を「メジャー」，「マイナー」と「マイナーセブンス」を「マイナー」として評価した．
この他の種類のコードは評価の際には無視した．また，教師なしでコードを推定しているため，コードラベルは推定精度が最大になるものを採用した．MAPS データベースにはコード情報が含まれていないため，コード情報は筆者の1 人が人手で与えたものを正解とした ．
*2

図 4 に示した結果より，調性音楽で頻出するメジャー
コードとマイナーコードが出力確率として得られていることが分かる．このことは，ピアノロールのみに基づき，事前知識無しでコードの概念が自動獲得できていることを示しており，興味深い．コード認識率は 61.33%であり，教師なしの状況下でもコードの認識が可能であることが分かる．
一方，他のコード認識に関する研究 [15, 16] ではこれよりも高い精度を達成している．これらの手法ではラベル付け
された教師データを使っており，かつコード認識に使ったデータが，コード構造がはっきりしているポピュラー音楽

!

c

!

c

2RP
R = !t rtt , P = !t ett , F = R+P
t

t

(33)

ここで，rt ，et ，ct はそれぞれ，t 番目の時間フレームにおける正解データの音高の数，推定された音高の数，正解
データと一致した推定音高の数を表す．なお，曲全体を通したオクターブずれは許容した．比較実験として，以下の3 条件のもとで音高推定を行った．
( 1 ) 一曲の間でコード遷移が起きない( 2 ) 正解ピアノロール・コードに基づき言語モデルを事前学習し，学習されたパラメータを用いる( 3 ) 正解ピアノロールのみに基づき言語モデルを事前学習
し，学習されたパラメータを用いる
条件 2，3 については交差検定により評価を行った．
表 1 に示すように，教師なしでの音高推定精度（65.0%）
は音響モデルのみでの音高推定精度（64.7%）よりも高かった．また，図 5 に示すように，言語モデルを統合することによる f 値の向上幅とコード推定精度の間には正の相関がであるため，より高い精度を実現していると考えられる．

見られた（相関係数 r = 0.33）．このことは，言語モデル

4.3 音楽音響信号の音高推定ている．さらに図 6 に示すように，音楽音響信号のみに基合率・f 値により音高推定精度を評価した．

して獲得された．この結果より頻出するコードの種類が音

次に，下式で定義される，フレーム単位での再現率・適*2

コード情報は http://sap.ist.i.kyoto-u.ac.jp/members/ojima/
mapschord.zip から入手可能c 2016 Information Processing Society of Japan⃝の精度向上が音高推定の精度向上につながることを示唆しづいて事前知識無しで 4 と同様のコード構造が出力確率と楽音響信号から自動的に獲得できることが分かる．このようなコード種類の獲得は音楽分類や類似度判定に有用であ6

情報処理学会研究報告

Vol.2016-MUS-112 No.6
2016/7/30

IPSJ SIG Technical Report

る．自然言語処理の分野では，単語列に基づく教師なしの文法獲得や文字列に基づく教師なしの単語分割が研究されてきた [27, 28]．提案法は楽譜（離散記号列）や音楽音響信号から音楽文法を教師なしで推論することが可能であり，音声音響信号からの言語獲得 [29] などへの応用も期待される．
謝辞

本 研 究 の 一 部 は ，JSPS 科 研 費 24220006，

26700020，26280089，16H01744，15K16054，16J05486 と
図 7

MUS-bk xmas5 ENSTDkCl に対する音高推定結果の例．

JST OngaCREST プロジェクトおよび栢森財団の支援を受けた．

る．また，事前学習した場合の結果（65.5%）は教師なし
での結果よりも高かった．コード情報を含むピアノ譜は多数出版されており，この条件は現実的であると考えられる．

参考文献
[1]

また，標準誤差は 1.5 ポイントであり精度向上は統計的には有意な差ではないが，f 値は 30 曲中 25 曲で向上し，さらにそのうち 15 曲では 1 ポイント以上向上した．

[2]

音高推定結果の一例を図 7 に示す．この図より，言語モ
デルを統合することで低音域の挿入誤りが減少していることが確認できる．一方，挿入誤りの総数は統合モデルでは増加している．これは調波構造においたシフト不変の条件[3]が強すぎるものであり，その結果各音のスペクトルが正しく推定できずに，倍音を存在する音高として誤って推定していることが原因であると考えられる．

[4]

本手法には，十分な性能向上の余地がある．まず，音響モデルは上述したように調波構造について強い制約があり，この制約はソースフィルタ NMF [4] を用いることで緩和できると考えられる．ソースフィルタ NMF では基底行[5]

列が音高を表すソースと音色を表すフィルタにさらに分解される．提案モデルはこのフィルタが 1 つだけの場合に対応し，フィルタを増やすことで例えば高音と低音の音色の[6]違いを表現することが可能になると考えられる．一方，言語モデルは現在は縦方向（同時刻の音高方向）の関係のみをモデル化しているが，横方向（音高の時間的遷移）をモ[7]

デル化することで，オクターブ誤りや倍音誤りといった直前の音から大きく離れた位置に存在する挿入誤りの減少が期待でき，精度向上につながると考えられる．

[8]

5. おわりに
本稿では，音高・コードを音楽音響信号から同時推定す[9]るためのモデルについて提案した．提案モデルは NMF に基づく音響モデルとベイジアン HMM に基づく言語モデル[10]から構成され，両モデルの情報を用いて音高が決定される．
実験結果から，音楽音響信号からの教師なしでの音高推定[11]

及び音楽文法推論の可能性が示された．一方，音響モデル
は調波構造に対する制約が大きく，言語モデルはコード構造を記述するのみで音楽理論を表現するには不十分であるなど，いずれのモデルも十分に改善の余地がある．
提案法は文法推論の観点から，言語獲得と深く関係があc 2016 Information Processing Society of Japan⃝[12]

Smaragdis, P. and Brown, J. C.: Non-negative Matrix
Factorization for Polyphonic Music Transcription, IEEE
Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), pp. 177–180 (2003).
Ohanlon, K., Nagano, H., Keriven, N. and Plumbley,
M.: An Iterative Thresholding Approach to L0 Sparse
Hellinger NMF, International Conference on Acoustics,
Speech, and Signal Processing (ICASSP), pp. 4737–4741(2016).
Hoﬀman, M., Blei, D. M. and Cook, P. R.: BayesianNonparametric Matrix Factorization for Recorded Music, Proceedings of the 27th International Conference
on Machine Learning (ICML), pp. 439–446 (2010).
Virtanen, T. and Klapuri, A.: Analysis of Polyphonic
Audio Using Source-filter Model and Non-negative Matrix Factorization, Advances in models for acoustic processing, neural information processing systems workshop, Citeseer (2006).
Durrieu, J. L., Richard, G., David, B. and Févotte, C.:
Source/Filter Model for Unsupervised Main Melody Extraction from Polyphonic Audio Signals, IEEE Transations on Audio, Speech, and Language Processing(TASLP), Vol. 18, No. 3, pp. 564–575 (2010).
Liang, D. and Hoﬀman, M.: Beta Process Non-negative
Matrix Factorization with Stochastic Structured MeanField Variational Inference, arXiv, Vol. 1411.1804(2014).
Vincent, E., Bertin, N. and Badeau, R.: Adaptive harmonic spectral decomposition for multiple pitch estimation, IEEE Transactions on Audio, Speech, and Language Processing (TASLP), Vol. 18, No. 3, pp. 528–537(2010).
Poliner, G. E. and Ellis, D. P.: A discriminative model
for polyphonic piano transcription, EURASIP Journal
on Applied Signal Processing (2007).
Cemgil, A. T.: Bayesian Inference for Nonnegative Matrix Factorisation Models, Computational Intelligence
and Neuroscience, Vol. 2009 (2009).
Hamanaka, M., Hirata, K. and Tojo, S.: Implementing
A Generative Theory of Tonal Music ，Journal of New
Music Research, Vol. 35, No. 4, pp. 249–277 (2006).
Nakamura, E., Hamanaka, M., Hirata, K. and Yoshii,
K.: Tree-Structured Probabilistic Model of Monophonic
Written Music Based on the Generative Theory of Tonal
Music, International Conference on Acoustics, Speech,
and Signal Processing (ICASSP) (2016).
Hu, D. and Saul, L. K.: A Probabilistic Topic Model for
Unsupervised Learning of Musical Key-profiles., International Society for Music Information Retrieval Con-7

情報処理学会研究報告

Vol.2016-MUS-112 No.6
2016/7/30

IPSJ SIG Technical Report

[13]
[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

ference (ISMIR), Citeseer, pp. 441–446 (2009).
Jackendoﬀ, R. and Lerdahl, F.: A generative theory of
tonal music, MIT Press (1985).
Rocher, T.and Robine, M., Hanna, P. and Strandh, R.:
Dynamic Chord Analysis for Symbolic Music, Ann Arbor, MI: MPublishing, University of Michigan Library(2009).
Sheh, A. and Ellis, D. P.: Chord Segmentation and
Recognition Using EM-trained Hidden Markov Models,International Society for Music Information Retrieval
Conference (ISMIR), International Symposium on Music Information Retrieval, pp. 185–191 (2003).
Maruo, S., Yoshii, K., Itoyama, K., Mauch, M. andGoto, M.: A Feedback Framework for Improved Chord
Recognition Based on NMF-based Approximate Note
Transcription, International Conference on Acoustics,
Speech, and Signal Processing (ICASSP), pp. 196–200(2015).
Ueda, Y., Uchiyama, Y., Nishimoto, T., Ono, N. andSagayama, S.: HMM-based approach for automaticchord detection using refined acoustic features, International Conference on Acoustics, Speech, and Signal
Processing (ICASSP), pp. 5518–5521 (2010).
Raczynski, S., Vincent, E., Bimbot, F. and Sagayama,
S.: Multiple pitch transcription using DBN-based musicological models, International Society for Music Information Retrieval Conference (ISMIR), pp. 363–368(2010).
Raczynski, S. A., Vincent, E. and Sagayama, S.: Dynamic Bayesian networks for symbolic polyphonic pitchmodeling, IEEE Transactions on Audio, Speech, andLanguage Processing (TASLP), Vol. 21, No. 9, pp. 1830–
1840 (2013).
Sigtia, S., Benetos, E. and Dixon, S.: An End-to-End
Neural Network for Polyphonic Piano Music Transcription, IEEE Transactions on Audio, Speech, and Language Processing (TASLP), No. 5, pp. 927–939 (2016).
Sigtia, S., Benetos, E., Cherla, S., Weyde, T., Garcez, A.
and Dixon, S.: An RNN-based Music Language Modelfor Improving Automatic Music Transcription, International Society for Music Information Retrieval Conference (ISMIR), pp. 53–58 (2014).
Cemgil, A. T. and Dikmen, O.: Conjugate Gamma
Markov Random Fields for Modelling Nonstationary
Sources, Independent Component Analysis and Signal
Separation, Springer, pp. 697–705 (2007).
Davy, M. and Godsill, S. J.: Bayesian harmonic models
for musical signal analysis, Bayesian Statistics, Vol. 7,
pp. 105–124 (2003).
Emiya, V., Badeau, R. and David, B.: Multipitch Estimation of Piano Sounds Using a New Probabilistic Spectral Smoothness Principle, IEEE Transations on Audio,
Speech, and Language Processing (TASLP), Vol. 18,
No. 6, pp. 1643–1654 (2010).
Schörkhuber, C., Klapuri, A., Holighaus, N. andDörfler, M.: A Matlab Toolbox for Eﬃcient Perfect
Reconstruction Time-Frequency Transforms with LogFrequency Resolution, Audio Engineering Society Conference (2014).
Fitzgerald, D.: Harmonic/Percussive Separation UsingMedian Filtering, International Conference on Digital
Audio Eﬀects (DAFx), pp. 1–4 (2010).
Johnson, M.: Using Adaptor Grammars to Identify
Synergies in the Unsupervised Acquisition of Linguistic
Structure., Proceedings of the 46th Annual Meeting ofc 2016 Information Processing Society of Japan
⃝

[28]

[29]

the Association of Computational Linguistics (ACL),
pp. 398–406 (2008).
Mochihashi, D., Yamada, T. and Ueda, N.: Bayesian
unsupervised word segmentation with nested PitmanYor language modeling, Proceedings of the 47th Annual
Meeting of the Association of Computational Linguistics (ACL), Association for Computational Linguistics,
pp. 100–108 (2009).
Taniguchi, T. and Nagasaka, S.: Double articulation
analyzer for unsegmented human motion using PitmanYor language model and infinite hidden markov model,
IEEE/SICE International Symposium on System Integration (SII), IEEE, pp. 250–255 (2011).

8