社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

[ポスター講演] 音楽音響信号に対する多重音高推定と和音構造学習のための階層ベイズ音響・言語統合モデル
尾島 優太†

中村 栄太†

糸山 克寿†

吉井 和佳†† 京都大学 大学院情報学研究科
E-mail: †{ojima,enakamura,itoyama,yoshii}@sap.ist.i.kyoto-u.ac.jp
あらまし 本稿では，音楽音響信号から教師なしで和音構造を学習し，同時に音高を推定するための手法を提案する．
従来より多重音音高推定には非負値行列因子分解（NMF）が広く用いられてきた．NMF を用いた手法では，ピアノの鍵盤に対応する各音について音量の時間的変化を推定し，それを閾値処理することでピアノロールを出力していた．
このような段階的な処理では適切な閾値を決定することが困難であり，さらに同時に出現する音高間の関係が考慮されず，音楽的に不自然な結果となるといった問題があった．本研究ではこの問題を解決するため，スペクトログラムの生成過程を表現する音響モデルに，ピアノロールの生成過程を表現する音楽文法としての言語モデルを統合した階層ベイズモデルを提案する．実験の結果，提案法により音楽文法の一種であるコード構造が正しく学習され，さらに自動採譜への活用の可能性が確認された．
キーワード 多重音音高推定，非負値行列因子分解，教師なし学習，階層ベイズモデル，自動採譜

1. は じ め に
計算機による自動採譜の最終的な目標は，楽譜の主要要素でされる過程を表す言語モデル（HMM）を統合した階層ベイズ
モデルを定式化する．本モデルの特徴は，各音の存在を表す二値変数を NMF の枠組みに導入した点である．これにより言語

ある音高，音価を音楽音響信号から獲得することである．本研モデルの HMM は，ピアノロールを表す二値変数を観測として

究ではこの自動採譜問題の一部である多重音の音高推定を扱う．

モデル化することができる．統合されたモデルでは与えられた

具体的には，音楽音響信号を入力として二値のピアノロール形

スペクトログラムに基づき，ギブスサンプリングを用いてすべ式の楽譜を出力することが目的である．

ての隠れ変数（音高とコード）が同時に推定される．

音高推定には従来より非負値行列因子分解（NMF）が広く本研究により，音楽音響信号から教師なしでの音楽文法の用いられてきた [1–4, 4–6]．NMF は観測音響信号のスペクトロ

推論が可能となった．本研究でのモデル統合は自動音声認識

グラムを，各音高の周波数スペクトルを表す基底行列と各音の（ASR）と同様の試みであるが，本研究は両方のモデルを教師

時間的音量変化を表すアクティベーション行列の積の形に近似なしで学習するという点で異なる．さらに，ASR のモデルはし分解する手法である．音高推定では，NMF により得られた単語とスペクトログラムの二階層からなるが，本研究のモデル

アクティベーション行列に対し閾値処理や隠れマルコフモデル

ではコード，音高及びスペクトログラムの三階層からなる点で（HMM）に基づく二値化を行うことにより，各音高の存在を決も異なる．この違いは言語モデルとして n-gram モデルである

定する [6, 7]．

マルコフモデルではなく隠れマルコフモデルを用いているため

しかし，このような手法には二つの問題が存在した．一つ目に生じるものである．

は，曲ごとに適切な閾値を設定することの困難さである．二つ2. 関 連 研 究

目は，推定結果の音楽的な不自然さである．これは，推定の際に各音の間の関係性が考慮されないために生じるものである．

本節では多重音音高推定（音響モデル）と音楽理論の実装及実際の音楽では和声構造が存在し，ある種の音高の組み合わせび音楽文法推論（言語モデル）についての関連研究を概観する．

（例えば C，G，E）が同時に発音されてコード（C メジャー）

2. 1 音響モデルを形成する．さらにコードは時間的に変化し，典型的なコード

音楽信号解析に対するアプローチは非負値行列因子分解

進行を形成する．音高とコードは相互に依存する鶏と卵の関係（NMF）によるものが主流である [1–4,4,5,8]．Cemgil ら [8] はにあるため，互いの情報を利用して同時に推定する必要がある．

NMF に対するベイズ推論の枠組みを示し，それにより様々な

本稿ではこの問題を解くため，コードと音高の依存関係を考事前分布の導入が可能となった．Hoﬀman ら [3] はガンマ過程

慮しつつ，教師なしで音楽音響信号からコードと音高を推定す

NMF と呼ばれる NMF のノンパラメトリックベイズモデルをるための統計的手法を提案する．詳細には，生成モデルとして，提案し，これにより基底数の自動推定が可能となった．Liang

音高からスペクトログラムが生成される過程を表す音響モデル

ら [5] は各基底の各時間フレームに対し二値変数を導入した（NMF に基づく確率モデル）と調及びコード列から音高が生成

ベータ過程 NMF を提案した．NMF の別の拡張としては，基—1—

図 2 音響モデルの全体像．
図 1 提案法の全体像．

で音高とコードを同時推定するための手法について説明する．
まず，観測される音楽スペクトログラムが生成される過程の確底を，基本周波数を表すソースと音色を表すフィルターにさら率的生成モデルとしての定式化について述べる．提案する生成に分解するソースフィルタ NMF [4] が存在する．

モデルは，音響モデルと言語モデルが，各音高の存在を表す二2. 2 言語モデル

値変数列であるピアノロールにより結び付けられた階層構造と音楽の背後に存在する音楽理論の推定及び実装も研究され．ピアノロール，基底スペクトル及び各音のなっている（図 1）ている [9–11]．例えば，音楽の様々な要素を一つの枠組みで記

音量の時間的変化から音楽スペクトログラムが生成される過程

述した Generative Theory of Tonal Music (GTTM) [12] を計を音響モデルにより表現し，調，コード列からコード進行及び算機向けに定式化する試みがある．Hamanaka ら [9] は計算機同時に出現する音高の組み合わせが生成される過程を言語モデによる実装を通して GTTM を再定式化し，タイムスパン木とルにより表現する．最後に，逆問題として，与えられた音楽ス呼ばれる，音楽構造を表す木構造を自動獲得するための手法

ペクトログラムを用いたモデル内の確率変数の推定について述を提案した．Nakamura ら [10] も確率文脈自由文法を用いてべる．

GTTM を再定式化し，その推論アルゴリズムを提示した．

3. 1 問 題 設 定

一方で，教師なしで音楽理論を推論する試みも存在する．Hu

多重音音高推定の目標は音楽音響信号からピアノロール形式

ら [11] は潜在的ディリクレ配分法を拡張し，同じ調性を持つ曲の出力を得ることである．すなわち，周波数ビン数を F ，時間

では同じ音が出やすくなるという知見に基づいて，楽譜及び音フレーム数を T としたときに，音楽音響信号の対数周波数領域

響信号から調を決定するための手法を提案した．この手法によ×Tを，K 種類の音高及び T 個ののスペクトログラム X ∈ RF+り，ラベル付けされた教師データなしで，ある調のもとでの各時間フレームからなるピアノロール S ∈ {0, 1}K×T に変換する

音の出やすさを獲得することが可能となった．

ことが目的である．さらに，本手法ではコード列 Z = {zt }T
t=1

また，コードの概念も音楽文法の一種として考えられる．教の推定も行う．

師データを用いたコード推定のための統計的手法は広く研究さ

3. 2 音響モデル定式化れてきた [13–16]．Rocher ら [13] は与えられた楽譜に対し，あ音響モデルは二値変数を持つベータ過程 NMF [5] と同様に定りうるコード遷移を有向グラフで表し，その中の最適経路を計×T
式化される（図 2）．与えられたスペクトログラム X ∈ RF+

算することでコード認識を試みた．Sheh ら [14] はクロマベク

×K
K×T
は基底 W ∈ RF
，アクティベーション H ∈ R+
及び二+トルと呼ばれる音響特徴量を用いて音楽音響信号からコードを

値変数 S ∈ {0, 1}K×T の積の形として，以下に示すように分解推定した．この手法ではコードラベルを隠れ変数とし，観測がされる．

クロマベクトルであるような HMM を構成し，コード列を決定

Xf t |W , H, S ∼ Poisson

する．Maruo ら [15] はクロマベクトルと NMF の双方を用いてコード推定を行い，コード推定精度の向上を実現した．これ
らの手法はいずれもラベル付けされた教師データが必要であり，
そのアノテーションの際にコードの概念が必要である．さらに，コード列を音高推定に利用する試みも行われている [17,18]．これらの手法では動的ベイジアンネットワークを用いてコード進
行と多重音の音高を同時推定し，単純な音響モデルの下でもよい性能を出している．近年では言語モデルとして再帰型ニューラルネットワークを用いて音高間の関係を記述するモデルも提案されている [19, 20]．

3. 提 案 法
本節では提案法である，音楽音響信号から時間フレーム単位

K
k=1

Wf k Hkt Skt(1)

ここで，{Wf k }F
f =1 は k 番目の基底スペクトルを，Hkt は基底

k の時刻 t における音量を，Skt は基底 k が時刻 t において使われているかどうかを示す二値変数を表す．
基底スペクトル W は，調波構造を表すスペクトルと非調波構造を表すスペクトルの二種類で構成される．本研究では調波
構造スペクトルとして Kh 個の異なる音高に対応する Kh 個のスペクトルと，非調波構造スペクトルとして一つのスペクトルを用意する（K = Kh + 1）．同じ楽器では音高の異なる調波
構造は音高に応じてシフトされただけの関係であり調波構造は変化しないと仮定すると，調波構造 W は，k = 1, . . . Kh について—2—り，Kh は出現する可能性がある音高の数を表す．また，HMMのパラメータの一部（遷移確率，初期確率のハイパーパラメー
タ）は調により決定されるモデルとすることで，調についても同時推定を行う．なお，提案モデル全体で考えると，S は実際には隠れ変数である．調の総数を J ，曲全体の調を表す番号をD（D ∈ {1, . . . , J}）とすると，HMM は以下に示すように定式化される．

z1 |φD ∼ Categorical(φD ),図 3 言語モデルの全体像．

h F{Wf k }F
f =1 = shift {Wf }f =1 , ζ(k − 1)(2)となる．ここで，{Wfh }F
f =1 はどの音高でも共通する調波構
造テンプレートであり，shift (x, a) は x = [x1 , . . . , xn ]T を

[0, . . . , 0, x1 , . . . , xn−a ]T へとシフトする演算である．また，ζ

(6)

zt |zt−1 , ψD,zt−1 ∼ Categorical(ψD,zt−1 ),(7)

Skt |zt , πzt k ∼ Bernoulli(πzt k )(8)

ここで ψD,i ∈ RI は調 D の下でのコード i からの遷移確率，

φD ∈ RI は調 D の下での初期確率，πzt k はコード zt の下で k
番目の音高が出力される確率を表す．
これらのパラメータに対し，共役事前分布

は半音の音程に対応する周波数ビン数である．
調波構造テンプレートと非調波構造スペクトルに対し，二種類の事前分布を用意する．まず，調波構造テンプレートは，次式に示すようにガンマ分布を事前分布として用意し，スパースになるように誘導する．

Wfh ∼ G

 h

a ,b

h

(3)

ここで，ah と bh はハイパーパラメータである．一方，非調波構
造スペクトルは，次式に示すように逆ガンマ連鎖事前分布 [21]を事前分布として用意し，周波数方向に滑らかになるように誘
導する．
η
n
W
GW
f |Wf −1 ∼ IG η , W



Wfn |GW
f ∼ IG



W

f −1

W
ηW , η W
G


(4)

ある．
アクティベーション行列 H も基底行列 W と同様に定式化される. Hkt がほぼ 0 となってしまうと Skt の値が NMF に影響を与えず，S がマスクとしての機能を果たさない．Hkt の事前分布として逆ガンマ分布をおくことで Hkt が常にある程度の値を持つように誘導すればこの問題は回避できる．さらに，時間方向の滑らかさを導入するため，H に対し下式に示す逆ガン
マ連鎖事前分布を与える．



η ,H

ηH
k(t−1)

HH η
Hkt |GHkt ∼ IG η , H
GC，. . .，B）分だけを用意し，これをすべてのオクターブで用いることで Kh 種類の音高を表現する．さらに，コードのうち，種類が同じで根音が異なるものについては出力確率を共有し，根音の位置に応じて巡回シフトしたものとする．本稿では簡単．
のため，コードの種類として 2 種類のみを考える（I = 2 × 12）

次に，調に関するモデル化を考える．調 D は以下に示す事

,D ∼ Categorical(δ),

kt

(10)

ここで，1J は全要素が 1 の J 次元ベクトルであり，δ は各調の選ばれやすさを表す．また，HMM における遷移確率及び初期確率については，データを効率的に利用するため，長調，短調の二種類のみを用意し，調の主音に応じてシフト巡回することで決定する．すなわち，A の音と主音の音程が b ∈ {0, . . . , 11}，
種類が k ∈ {major, minor} なる調 D の下での初期確率及び遷
移確率 φD , ψD,i は，下式に従い決定される．

φD = rot(φk , b),(5)δ ∼ Dir(1J )ψD,i = rot(ψk,i+b,12 , b)(11)

ここで，φk は調の種類が k の下での初期確率，ψk,i は調は滑らかさを決定するハイパーパラメータで，GHkt

種類が k の下での状態 i からの遷移確率であり，a, x はは Hk(t−1) と Hkt が正の相関を持つように導入した補助変数で

a mod x を 表 す ．ま た ，rot(x, a) は x = [x1 , . . . , xn ]T をある．

[x1−a,n , . . . , xn−a,n ]T へと巡回シフトする演算である．

ここで，η

H

f はハイパーパラメータである．

後分布に従う．

は Wfn−1 と Wfn が正の相関を持つように導入した補助変数でHをおく．ここで 1I は全要素が 1 の I 次元ベクトルであり，e と

ある．

f



πzt k ∼ Beta(e, f ) (9)

これは，メジャーコードとマイナーコードを想定したもので,

ここで，η W は滑らかさを決定するハイパーパラメータで，GWfGHkt |Hk(t−1) ∼ IG

φD ∼ Dir(1I ),実際には出力確率には 1 オクターブ内に出現する 12 音高（C，ψD,i ∼ Dir(1I ),3. 3 言語モデル定式化

3. 4 事後分布推論

言語モデルは，マルコフ性を持つコード列 Z = {z1 , . . . , zT }以上のモデルについて，観測データ X が与えられた下での（zt ∈ {1, . . . , I}）を隠れ変数に持ち，二値変数 S = {s1 , . . . , sT }事後分布 p(W , H, S, z, π, ψ|X) を推論する必要があるが，解（st ∈ {0, 1}

Kh）を出力する HMM として定式化される（図析的に計算することは不可能である．そのため，[22] にあるよ3）．ここで I は隠れ状態の種類，すなわちコードの種類であ

うに，マルコフ連鎖モンテカルロ法を用いて推論を行う．音響—3—

モデルと言語モデルは二値変数のみを共有するため，二値変数であり，同様に H の条件付き事後分布は，

が与えられるとそれぞれのモデルは独立に更新できる．これら

Hkt ∼ IG

二つのモデルと二値変数をサンプリングにより交互に更新し，最後に言語モデルの隠れ変数（コード進行）はビタビアルゴリ2ηH , ηH

GH

1



1
GH

+

(18)

kt

k(t+1)となる．これと同様に GW ，W n の条件付き事後分布はズムにより推定する．また，二値変数（ピアノロール）の最終









GW
f ∼ IG 2ηW , ηW

的な出力は，尤度が最大となるパラメータを用いて決定される．

3. 4. 1 二値変数の推論

Wfn ∼ IG

二値変数 S は音響モデルと言語モデルの双方を結びつける

2ηW , ηW1
+ W n1
Wn
f

1
GW

f −1

+

f +1

,

(19)



1
GW

(20)

f

パラメータであり，各音の使われやすさはコードにより決定さとなる．式 (18) を事前分布とみなし，式 (15) と同様にベイズ

れ，各音が使われたかどうかが再構成されたスペクトログラム

則とイェンゼンの不等式を用いることで，観測 X を考慮した，に影響する．そのため，音響モデルを尤度関数，言語モデルを

H の条件付き事後分布は以下に示すように計算される（注 1）．



事前分布とみなし，ベイズ則に基づき計算される事後分布を用

Hkt ∼ GIG 2Skt

い，二値変数をサンプルする．これは以下に示すように定式化される．

Skt ∼ Bernoulli

P1
P1 +P0∝ πzαkX̂f¬kt + Wf k Hkt

f

(12)

∝ (1 − πzk )α
ここで，X̂f¬k
t ≡


l=k
|

f

Xf t λf tk − γH
f

 

(13)

exp{−Wf k Hkt },t

Hkt Skt , δW ,

kt


t

Xf t λf tk − γW

1となる．ただし，γW = 2ηW ，δW = ηW ( GW

3. 4. 3 言語モデルの更新

+ G1H ) とおいた．全く同様に，W n の条件付き事後確率は

Wfnk ∼ GIG 2

f +1



+ G1W ) である．
f

言語モデルの隠れ変数 Z は以下の条件付き事後分布に従い

P0 = p(Skt = 0|S¬k,t , xt , W , H, π, z)k(t+1)

P1 = p(Skt = 1|S¬k,t , xt , W , H, π, z)Xf t

Wf k , δH ,f

ここで，γH = 2ηH ，δH = ηH ( GH 1



ここで P1 と P0 は下式により計算される．

¬k Xf t

(14)

X̂f t

サンプルされる．

p(zt |S, D, π, φ, Ψ) ∝ p(s1 , . . . , st , zt |D)

Wf l Hlt Slt は k 番目の基底を用いずに再構成された振幅スペクトログラムの周波数ビン f ，時間フレー(21)

ここで，π は出力確率を，φ は初期確率を，Ψ = {ψ1 , . . . , ψI }ム t における値を表し，α は言語モデルの重みを決定づけるパは各状態からの遷移確率を表す．Z ，S は条件付き独立なのでラメータである．このような言語モデルの重み付けは ASR で式 (21) の右辺は更に分解され，も行われる．α が 1 以外の値をとるとき，正規化項を解析的に計算することは不可能であり，ギブスサンプリングを用いるこ

p(s1 , . . . , st , zt |D)とはできない．そのため，代わりに式 (12) を提案分布としたメ= p(st |zt )



zt−1

p(s1 , . . . , st−1 , zt−1 |D)p(zt |zt−1 , D),

トロポリス・ヘイスティング法を用いてサンプルする．

(22)

3. 4. 2 音響モデルの更新
音響モデルのパラメータ W h ，W n ，H はギブスサンプリン
グによりサンプルされる．これらのパラメータは，事前分布としてガンマ分布を持つ W h と逆ガンマ分布を持つ W n およびH に大別される．ベイズ則に基づき計算すると，W h の条件付き事後分布はWfhk ∼ G

p(s1 , z1 |D) = p(z1 |D)p(s1 |z1 ) = φD,z1 p(s1 |πz1 )(23)と表せる．式 (22) と式 (23) より，p(s1 , . . . , sT |zT ) は再帰的に計算され（フォワードフィルタリング），zT ∼ p(s1 , . . . , sT |zT )に従い zT をサンプルする．また，zt+1 , . . . , zT が与えられた
下で


t

Xf t λf tk + ah ,t

Hkt Skt + bh



(15)

p(zt |S, zt+1 , . . . , zT , D) ∝ p(s1 , . . . , st , zt |D)p(zt+1 |zt , D)
(24)となる．ここで，λf tk は最新のサンプル値 Ŵ ，Ĥ ，Ŝ を用いて計算される正規化項であり，下式で定義される．
Ŵf k Hˆkt Sˆ
ktWˆf l Hˆlt Sˆlt

λf tk = に従い zt をサンプルする．p(s1 , . . . , st , zt ) は式 (22) で計算さ

(16)

l

ンプリング）．

一方，残りのパラメータは補助変数を用いてサンプルされる．

H については，式 (5) に示すように G

Hと相互依存関係にあるため，同時にサンプルすることはできない．そのため，H とGH を交互にサンプルする．観測 X の影響を考慮しない場合，
GH の条件付き事後分布は

GH
kt ∼ IG 2ηH , ηHれるので，このサンプルも再帰的に行われる（バックワードサ

1
+H 1
Hkt
k(t−1)

(17)

出力確率 π の事後分布はベイズ則より，

p (π|S, z, φ, Ψ, D) ∝ p (S|π, z, φ, Ψ, D) p (π)(25)となる．p (π) は p (S|π, z, φ, Ψ, D) の共役事前分布なのでこ（注 1）：GIG(a, b, p) ≡
布を表す

p
ax+ b
(a/b) 2√
xp−1 exp(− 2 x ) は一般化逆ガウス分
2Kp ( ab)—4—

の事後分布は解析的に計算できる．Ci を Z 内でのコードi ∈ {1 . . . I} の出現回数，ci ≡t∈{t|zt =i}

st を zt = i なる時

間フレーム t における st の総和を表す Kh 次元ベクトルとす
ると，パラメータ π は以下の条件付き事後分布に従いサンプル
される．

π|S, z, φ, Ψ ∼ Beta (e + cik , f + Ci − cik ) .

(26)

同様に，遷移確率 ψi 及び初期確率 φ の事後分布はp(φ|S, D, z, π, Ψ) ∝ p(z1 |φ, D) p(φ)
p(ψ|S, D, z, π, φ) ∝t

図4

事前実験の結果得られた出力確率．

クトログラムは変 Q 変換 [24] により得られた 926 × 10075 の(27)

p(zt |zt−1 , ψzt−1 , D) p(ψzt−1 )(28)と な る ．p(φ)，p (ψi ) は そ れ ぞ れ p(z1 |φ, D)，p(zt |zt−1 ,ψzt−1 , D) の共役事前分布なので，簡単に事後確率が計算で行列を MATLAB の resample 関数により 926 × 3000 へと変換したものを用いた．さらに，事前処理として調波・非調波音分離（HPSS）[25] を行った．なお，元の論文とは違い HPSS は
対数周波数領域に対して行っており，メディアンフィルタ幅は
時間フレーム方向は 50，周波数方向は 40 とした．ハイパーパ
ラメータは I = 24, ah = 1, bh = 1, an = 2, bn = 1, c = 2, d =きる．ei を i 番目の要素が 1 である単位ベクトル，ai を j 番

1, e = 5, f = 80, α = 1300, ηW = 800000, ηH = 15000 とし，目の要素が状態 i から状態 j への遷移の回数を表す I 次元ベク

これは実験的に決定した．出力確率は 12 音に対して用意され，トルとすると，φ 及び ψi は以下の事後分布に従いサンプルされる．

これを全てのオクターブで共有することで 84 音高分の出力確率とした．更に遷移確率は，自己遷移確率（p(zt+1 = zt |zt )）を 1 − 8.0 × 10−8 で固定し，他状態への遷移が 3. 4. 3 節で示し

φ|S, D, z, π, Ψ ∼ Dir (1I + ez1 ) ,ψi |S, D, z, π, φ ∼ Dir (1I + ai ) .

たディリクレ分布に従うものとした．

(29)

実際には ψi , φ は調に応じて巡回シフトしているので，観測された回数も適切に巡回シフトする必要がある．

まず最初に，言語モデルが出力確率及びコード進行を正しく推定できることを確認するため，予備実験を行った．予備実験
では入力として，MIDI 番号 21–104 に対応する 84 音に対する調の事後分布は，ベイズ則に基づき，下式のように表される．

p(D|Z, φ, Ψ, δ) ∝ p(Z|D, φ, Ψ)p(D|δ)

4. 2 ピアノロールに対するコード推定(30)

正解のピアノロールを 30 曲分連結した 84 × 90000 の行列を用いた．これに対し，言語モデルのうち調推定部分を除くコード
推定部分を用いて，コード推定精度及び出力確率の推定を行っ

ここで，Z, φ, Ψ は既知であるので，p(Z|D, φ, Ψ) は全ての D

た．コード推定精度は，推定コードと正解コードが一致した時について解析的に計算できる．また，式 (10) より p(D|δ) = δD

間フレーム数の割合で評価した．コード種類としてはメジャーなので，式 (30) に従い D をサンプルする．また，調のパラメーとマイナーの 2 種類のみを想定して用意したため，正解コードタである δ の事後分布はp(δ|D) ∝ p(D|δ)p(δ)

における「メジャー」と「メジャーセブンス」を「メジャー」，(31)「マイナー」と「マイナーセブンス」を「マイナー」として評価した．この他の種類のコードは評価の際には無視した．また，教師なしでコードを推定しているため，具体的なコードラベル

であり，p(δ) は p(D|δ) の事前分布なので，結局についてはシフト関係・コード種類を考慮した上で推定精度が

δ|D ∼ Dir(1J + eD )

(32)

となる．

4. 評 価 実 験
提案法の音高推定精度を評価するため，比較実験を行った．
まず事前実験として，正しいピアノロールが与えられたときに言語モデルが正しくコード進行及び出力確率を推定することを確認した．次に，音響モデルのみを用いて音高推定した場合と，提案法である統合モデルを用いて音高推定した場合の推定精度を比較した．

4. 1 実 験 条 件
実験には MAPS データベース [23] から，“ENSTDkCl” の最大になるものを採用した．MAPS データベースにはコード情報が含まれていないため，コード情報は筆者の 1 人が人手で与えたものを正解とした（注 2）．
図 4 に示した結果より，調性音楽で頻出するメジャーコード
とマイナーコードが出力確率として得られていることが分かる．
このことは，ピアノロールのみに基づき，事前知識無しでコードの概念が自動獲得できていることを示しており，興味深い．
コード認識率は 61.33%であり，教師なしの状況下でもコードの認識が可能であることが分かる．一方，他のコード認識に関する研究 [14, 15] ではこれよりも高い精度を達成している．これらの手法ではラベル付けされた教師データを使っており，かつコード認識に使ったデータが，コード構造がはっきりしていラベルが付いている 30 曲を用いた．いずれの曲もモノラル信号に変換した後，冒頭 30 秒を切り出して使用した．振幅スペ（注 2）：コ ー ド 情 報 は http://sap.ist.i.kyoto-u.ac.jp/members/ojima/

mapschord.zip から入手可能

—5—

表1

30 曲に対する音高推定結果．
F

実験条件

R

P

言語モデル＋音響モデル（提案法） 65.0 67.3 62.8
コード遷移なし（条件 1）

64.7 64.7 64.7

コードを用いて事前学習（条件 2）

65.5 65.3 65.6

コード無しで事前学習（条件 3）

65.0 65.5 64.6

図7

MUS-bk_xmas5_ENSTDkCl に対する音高推定結果の例．

同様のコード構造が出力確率として獲得された．この結果より頻出するコードの種類が音楽音響信号から自動的に獲得できることが分かる．このようなコード種類の獲得は音楽分類や類似度判定に有用である．また，事前学習した場合の結果（65.5%）
は教師なしでの結果よりも高かった．コード情報を含むピアノ
譜は多数出版されており，この条件は現実的であると考えられ
図 5 コード推定精度と f 値の向上幅の相関．

る．また，標準誤差は 1.5 ポイントであり精度向上は統計的には有意な差ではないが，f 値は 30 曲中 25 曲で向上し，さらにそのうち 15 曲では 1 ポイント以上向上した．
音高推定結果の一例を図 7 に示す．この図より，言語モデル
を統合することで低音域の挿入誤りが減少していることが確認できる．一方，挿入誤りの総数は統合モデルでは増加している．
これは調波構造においたシフト不変の条件が強すぎるものであ

図 6 音楽音響信号から推定された出力確率．

り，その結果各音のスペクトルが正しく推定できずに，倍音をるポピュラー音楽であるため，より高い精度を実現していると存在する音高として誤って推定していることが原因であると考考えられる．

えられる．
本手法には，十分な性能向上の余地がある．まず，音響モデ

4. 3 音楽音響信号の音高推定
次に，下式で定義される，フレーム単位での再現率・適合率・約はソースフィルタ NMF [4] を用いることで緩和できると考え

f 値により音高推定精度を評価した．





ct
ct
2RP
, P = t , F =
R
+P
r
e
t
t
t
t

R = tルは上述したように調波構造について強い制約があり，この制られる．ソースフィルタ NMF では基底行列が音高を表すソー(33)

スと音色を表すフィルタにさらに分解される．提案モデルはこのフィルタが 1 つだけの場合に対応し，フィルタを増やすこと

ここで，rt ，et ，ct はそれぞれ，t 番目の時間フレームにおけるで例えば高音と低音の音色の違いを表現することが可能になる正解データの音高の数，推定された音高の数，正解データと一と考えられる．一方，言語モデルは現在は縦方向（同時刻の音致した推定音高の数を表す．なお，曲全体を通したオクターブ高方向）の関係のみをモデル化しているが，横方向（音高の時ずれは許容した．比較実験として，以下の 3 条件のもとで音高間的遷移）をモデル化することで，オクターブ誤りや倍音誤り推定を行った．

といった直前の音から大きく離れた位置に存在する挿入誤りの（ 1 ） 一曲の間でコード遷移が起きない

減少が期待でき，精度向上につながると考えられる．

（ 2 ） 正解ピアノロール・コードに基づき言語モデルを事前学習し，学習されたパラメータを用いる（ 3 ） 正解ピアノロールのみに基づきコードを推定しつつ言語モデルを事前学習し，学習されたパラメータを用いる
条件 2，3 については交差検定により評価を行った．

5. お わ り に
本稿では，音高・コードを音楽音響信号から同時推定するためのモデルについて提案した．提案モデルは NMF に基づく音響モデルとベイジアン HMM に基づく言語モデルから構成さ

表 1 に示すように，教師なしでの音高推定精度（65.0%）は音

れ，両モデルの情報を用いて音高が決定される．実験結果から，

響モデルのみでの音高推定精度（64.7%）よりも高かった．ま音楽音響信号からの教師なしでの音高推定及び音楽文法推論のた，図 5 に示すように，言語モデルを統合することによる f 値可能性が示された．一方，音響モデルは調波構造に対する制約の向上幅とコード推定精度の間には正の相関が見られた（相関が大きく，言語モデルはコード構造を記述するのみで音楽理論

係数 r = 0.33）．このことは，言語モデルの精度向上が音高推を表現するには不十分であるなど，いずれのモデルも十分に改定の精度向上につながることを示唆している．さらに図 6 に示善の余地がある．

すように，音楽音響信号のみに基づいて事前知識無しで図 4 と—6—

提案法は文法推論の観点から，言語獲得と深く関係がある．
自然言語処理の分野では，単語列に基づく教師なしの文法獲得や文字列に基づく教師なしの単語分割が研究されてきた [26, 27]．
提案法は楽譜（離散記号列）や音楽音響信号から音楽文法を教[16]

師なしで推論することが可能であり，音声音響信号からの言語
獲得 [28] などへの応用も期待される．
謝辞 本研究の一部は，JSPS 科研費 24220006，26700020，26280089，

16H01744，15K16054，16J05486 と JST OngaCREST プロジェク[17]トおよび栢森財団の支援を受けた．

文

献[1] P. Smaragdis and J.C. Brown, “Non-negative matrix factorization for polyphonic music transcription,” IEEE Workshop on Applications of Signal Processing to Audio andAcoustics (WASPAA), pp.177–180, 2003.
[2] K. Ohanlon, H. Nagano, N. Keriven, and M. Plumbley, “Aniterative thresholding approach to L0 sparse hellinger nmf,”
International Conference on Acoustics, Speech, and Signal
Processing (ICASSP), pp.4737–4741, 2016.
[3] M. Hoﬀman, D.M. Blei, and P.R. Cook, “Bayesian nonparametric matrix factorization for recorded music,” Proceedings of the 27th International Conference on Machine
Learning (ICML), pp.439–446, 2010.
[4] J.L. Durrieu, G. Richard, B. David, and C. Févotte,“Source/ﬁlter model for unsupervised main melody extraction from polyphonic audio signals,” IEEE Transations on
Audio, Speech, and Language Processing (TASLP), vol.18,
no.3, pp.564–575, 2010.
[5] D. Liang, M.D. Hoﬀman, and D.P. Ellis, “Beta process
sparse nonnegative matrix factorization for music.,” International Society for Music Information Retrieval Conference(ISMIR), pp.375–380, 2013.
[6] E. Vincent, N. Bertin, and R. Badeau, “Adaptive harmonic
spectral decomposition for multiple pitch estimation,” IEEE
Transactions on Audio, Speech, and Language Processing(TASLP), vol.18, no.3, pp.528–537, 2010.
[7] G.E. Poliner and D.P. Ellis, “A discriminative model forpolyphonic piano transcription,” EURASIP Journal on Applied Signal Processing, pp.154–154, 2007.
[8] A.T. Cemgil, “Bayesian inference for nonnegative matrix
factorisation models,” Computational Intelligence and Neuroscience, vol.2009, pp.1–17, 2009.
[9] M. Hamanaka，K. Hirata, and S. Tojo, “Implementing agenerative theory of tonal music ，” Journal of New Music
Research，vol.35，no.4，pp.249–277，2006．
[10] E. Nakamura, M. Hamanaka, K. Hirata, and K. Yoshii,“Tree-structured probabilistic model of monophonic written music based on the generative theory of tonal music,”
International Conference on Acoustics, Speech, and Signal
Processing (ICASSP), pp.276–280, 2016.
[11] D. Hu and L.K. Saul, “A probabilistic topic model for unsupervised learning of musical key-proﬁles.,” International
Society for Music Information Retrieval Conference (ISMIR)Citeseer, pp.441–446 2009.
[12] R. Jackendoﬀ and F. Lerdahl, A generative theory of tonal
music, MIT Press, 1985.
[13] M. Rocher, T.and Robine, P. Hanna, and R. Strandh, Dynamic Chord Analysis for Symbolic Music, Ann Arbor, MI:
MPublishing, University of Michigan Library, 2009.
[14] A. Sheh and D.P. Ellis, “Chord segmentation and recognition using EM-trained hidden Markov models,” International Society for Music Information Retrieval Conference(ISMIR), pp.185–191, International Symposium on Music
Information Retrieval, 2003.
[15] S. Maruo, K. Yoshii, K. Itoyama, M. Mauch, and M.

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

Goto, “A feedback framework for improved chord recognition based on NMF-based approximate note transcription,”International Conference on Acoustics, Speech, and Signal
Processing (ICASSP), pp.196–200, 2015.
Y. Ueda, Y. Uchiyama, T. Nishimoto, N. Ono, and S.
Sagayama, “HMM-based approach for automatic chord
detection using reﬁned acoustic features,” International
Conference on Acoustics, Speech, and Signal Processing(ICASSP), pp.5518–5521, 2010.
S. Raczynski, E. Vincent, F. Bimbot, and S. Sagayama,“Multiple pitch transcription using DBN-based musicological models,” International Society for Music Information
Retrieval Conference (ISMIR), pp.363–368, 2010.
S.A. Raczynski, E. Vincent, and S. Sagayama, “Dynamic
bayesian networks for symbolic polyphonic pitch modeling,”
IEEE Transactions on Audio, Speech, and Language Processing (TASLP), vol.21, no.9, pp.1830–1840, 2013.
S. Sigtia, E. Benetos, and S. Dixon, “An end-to-end neuralnetwork for polyphonic piano music transcription,” IEEE
Transactions on Audio, Speech, and Language Processing(TASLP), vol.24, no.5, pp.927–939, 2016.
S. Sigtia, E. Benetos, S. Cherla, T. Weyde, A. Garcez, and
S. Dixon, “An RNN-based music language model for improving automatic music transcription,” International Society for Music Information Retrieval Conference (ISMIR),
pp.53–58, 2014.
A.T. Cemgil and O. Dikmen, “Conjugate Gamma Markov
random ﬁelds for modelling nonstationary sources,” Independent Component Analysis and Signal Separation,
pp.697–705, Springer, 2007.
M. Davy and S.J. Godsill, “Bayesian harmonic models formusical signal analysis,” Bayesian Statistics, vol.7, pp.105–
124, 2003.
V. Emiya, R. Badeau, and B. David, “Multipitch estimationof piano sounds using a new probabilistic spectral smoothness principle,” IEEE Transations on Audio, Speech, andLanguage Processing (TASLP), vol.18, no.6, pp.1643–1654,
2010.
C. Schörkhuber, A. Klapuri, N. Holighaus, and M. Dörﬂer,“A Matlab toolbox for eﬃcient perfect reconstruction timefrequency transforms with log-frequency resolution,” AudioEngineering Society Conference, pp.2–5, 2014.
D. Fitzgerald, “Harmonic/percussive separation using median ﬁltering,” International Conference on Digital AudioEﬀects (DAFx), pp.1–4, 2010.
M. Johnson, “Using adaptor grammars to identify synergies in the unsupervised acquisition of linguistic structure.,”Proceedings of the 46th Annual Meeting of the Associationof Computational Linguistics (ACL), pp.398–406, 2008.
D. Mochihashi, T. Yamada, and N. Ueda, “Bayesian unsupervised word segmentation with nested Pitman-Yor
language modeling,” Proceedings of the 47th Annual
Meeting of the Association of Computational Linguistics(ACL)Association for Computational Linguistics, pp.100–
108 2009.
T. Taniguchi and S. Nagasaka, “Double articulation analyzer for unsegmented human motion using PitmanYor language model and inﬁnite hidden markov model,”IEEE/SICE International Symposium on System Integration (SII)IEEE, pp.250–255 2011.

—7—