Vol.2017-MUS-116 No.17
2017/8/25

情報処理学会研究報告
IPSJ SIG Technical Report

調とリズムを考慮した
階層隠れセミマルコフモデルに基づく
歌声 F0 軌跡に対する音符推定
錦見 亮1,a)中村 栄太1,b)

後藤 真孝2,c)

糸山 克寿1,d)

吉井 和佳1,3,e)

概要：本稿では歌声 F0 軌跡から音楽的に自然な音符系列を推定する統計的手法を示す．歌声の発音時刻
や F0 は楽譜に示されたビート時刻や音符の音高からの大きな逸脱を含むため，歌声 F0 軌跡の時間・周波数方向への離散化による音符推定の精度を向上するためには，楽譜の音楽的な自然さを表現する楽譜モデルが重要である．我々は調とリズムに依存する音符の音高を表現する楽譜モデルと楽譜 (音符系列) から時
間・周波数方向に逸脱する歌声 F0 軌跡を表現する F0 モデルとを統合した準ビート同期階層隠れセミマル
コフモデル (HHSMM: hierarchical hidden semi-Markov model) を提案する．楽譜モデルでは，確率的に生成された調に従って音符の音高が生成される．さらに，音符の開始位置はビートの 1 次元格子上に定義されたマルコフ過程に従って生成される．F0 モデルでは，歌声の発音時刻の時間方向の逸脱，音符間における F0 の滑らかな遷移，F0 の周波数方向の逸脱が確率的に生成され，楽譜に付与される．提案法では，楽譜モデルと F0 モデルが音符推定に与える影響を考慮しながら，入力の歌声 F0 軌跡から尤もらしい音符系列を推定する．実験結果から調やリズムを考慮しない場合と比較して，提案法による音符系列の推定精度が向上することを示した．

1. はじめに௒ঘઇঘઇ&PDMRU$ PLQRU௒Ͷғଚ

歌声は通常ポピュラー音楽のメロディラインを形成し，楽曲に関する多くの情報を提供するため，歌声解析は音ঘઇ&PDMRU

ֺො

楽情報検索をはじめとした様々な音楽アプリケーション

࣎ؔ๏޴͹ҵ୦にとって重要である．歌声 F0 推定 [1–5] や歌声分離 [6, 7])Ϡυϩといった歌声解析技術は盛んに研究されており，歌手同
定 [8, 9]，カラオケ生成 [10]，ハミング検索 [7]，能動的音ֺොϠυϩबഀ਼๏޴͹ҵ୦Ր੢)

楽鑑賞 [11] などに応用されている．さらに，歌声に含まれる情報をより活用するためには，歌声 F0 軌跡を離散的な

図 1: 楽譜モデルと F0 モデルの階層隠れセミマルコフモ

記号のみを含む楽譜に変換することが有用である．

デルに基づく歌声 F0 軌跡の生成過程．

本研究では，楽譜に対して多くの逸脱を含む歌声 F0 軌
跡からの音符系列推定に取り組む．楽譜における音符の音
高や開始位置は離散的な値であるが，歌声 F0 軌跡は時間経過ともに滑らかに変化する連続的な信号である．例えば，歌声 F0 軌跡はビブラートによって振動したり，ポル
1
2
3
a)
b)
c)
d)
e)

京都大学大学院情報学研究科
産業技術総合研究所 (AIST)
理化学研究所 革新知能統合研究センター (AIP)nishikimi@sap.ist.i.kyoto-u.ac.jp
enakamura@sap.ist.i.kyoto-u.ac.jp
m.goto@aist.go.jp
itoyama@kuis.kyoto-u.ac.jp
yoshii@kuis.kyoto-u.ac.jp

c 2017 Information Processing Society of Japan⃝

タメントによってある音符から次の音符へと滑らかに変化したりする．したがって，歌声 F0 軌跡を単純に時間・周
波数方向に離散化すると不自然なリズムや統計的に稀な半音階進行を含む音符系列がしばしば推定されてしまう．
この問題を解決するため，音符系列の生成過程を表現す
る楽譜モデルと歌声 F0 軌跡の生成過程を表現する F0 モデ
ルの統合モデルに基づく調とリズムを考慮した統計的音符推定手法を提案する (図 1)．楽譜モデルでは，各小節ごとに調がマルコフ過程により決定され，音符の音高は調と直前の音符の音高に依存して決まる．各調のもとでは，調の1Vol.2017-MUS-116 No.17
2017/8/25

情報処理学会研究報告
IPSJ SIG Technical Report

音階構成音に含まれる音名を持つ音高が出やすくなるようら [15] は入力として与えたコードの境界に注目すること制御される．ビートグリッド上に定義される各音符の開始

で音響データを調と音符に対応する区間に分割し，スコア

位置は，直前の音符の開始位置に依存することで，リズム関数に基づいて各区間ごとに音符を推定する手法を提案し構造を形成する．F0 モデルでは，楽譜モデルによって生成た．Ryynänen ら [16] は 1 つの音符内における種々の歌声された楽譜に対応する階段関数状の F0 軌跡に時間・周波変動 (例えば，ビブラートやポルタメント）を捉えるため数方向の逸脱が付与される．統合モデルは階層隠れセミマに階層 HMM に基づく手法を提案した．この手法のモデル

ルコフモデル (HHSMM: hierarchical hidden semi-Markov

では，上層の HMM が音符の音高間の遷移を表し，下層のmodel) として定式化される．提案法は歌声 F0 軌跡とビー

HMM が歌声変動の遷移を表す．Molina ら [17] は歌声 F0

ト時刻を入力として受け取り，マルコフ連鎖モンテカルロ

軌跡における履歴現象に焦点を当てた．錦見ら [20] は時法を用いることで，HHSMM の潜在変数として表現される間・周波数方向の逸脱を考慮した歌声 F0 軌跡の生成過程

調，音符，F0 の逸脱を同時に推定する．歌声 F0 軌跡の時を表現する HMM に基づく手法を提案した．Yang ら [18]間・周波数方向の離散化において調やリズムが自己組織化

は f0 -∆f0 平面の生成過程を表現する階層 HMM に基づくの制約として機能することが本手法の重要な特徴である．

手法を提案した．Mauch ら [19] は音高抽出を行う Tony と2. 関連研究
本章では歌声解析に関する研究を紹介する．

2.1 音楽音響信号に対する歌声 F0 推定

いうソフトウェアツールを開発した．このツール内では，PYIN [5] を用いて歌声 F0 推定を行い，Ryynänen’s らの手法 [16] を基にした手法を用いて音符推定を行う．

3. 提案法音楽音響信号に対する歌声 F0 軌跡の推定は活発に研究

本章では歌声 F0 軌跡から音符系列を推定する提案法にされており [1–5]，これらの出力結果は提案法の入力としてついて説明する．提案法は，調に依存する音符系列から時用いられる．最も基本的な方法の 1 つとして，各 F0 候補の間・周波数方向の逸脱を伴って歌声 F0 軌跡が確率的に生それぞれについて高調波成分の和を計算する Subharmonic

成される過程を HHSMM に基づいて表現する．提案モデ

Summation (SHS) [1] がある．池宮ら [2] は SHS に基づく

ルの上層は小節に割り当てられた調に従って音符系列が確

歌声 F0 推定とロバスト主成分分析 (RPCA: robust princi-

率的に生成される過程を表現する HMM である．下層は時

pal component analysis) に基づく歌声分離の性能を，これ間方向の逸脱と周波数方向の逸脱がそれぞれ潜在変数と出ら２つのタスクの相互依存性を利用することで改善した．

力確率として表現される HSMM である．

Salamon ら [12] は特徴関数を計算することで歌声 F0 軌跡の候補を推定し，各軌跡の特徴から主旋律を形成しない軌
跡を再帰的に消去する手法を提案した．Durrieu ら [3] は歌
声と伴奏をそれぞれソース・フィルターモデルと非負値行列因子分解 (NMF: non-negative matrix factorization) に基づくモデルで表現することにより，主旋律の分離を行っ

3.1 問題設定
我々が取り組む問題を以下のように定める．
T

入力：歌声 F0 軌跡 X= {xt }t=1 と 16 分音符単位のビート
N
時刻 Y = {(un , vn )}n=0 ,J

た．Mauch ら [5] は YIN [4] を確率的な手法に修正するこ

出力：音符系列 Z= {zj =(pj , lj )}j=0 ,とで，システムが複数の F0 候補を出力し，その中から各

ここで，T は歌声 F0 軌跡のフレーム数，xt は時刻 t にお

フレームごとに 1 つの F0 を HMM を用いて選択するようける対数周波数，N は 16 分音符単位のビートの数である．

にした．

un ∈ {1, . . ., T +1} は n 番目のビート時刻であり，楽曲の最初と最後は u0 = 1 と uN = T +1 としてそれぞれ表され

2.2 歌声に対する音符推定

る．vn ∈ {0, . . ., 15} は n 番目のビートが所属する小節内

歌声に対する音符推定も盛んに研究が行われていにおいて，小節の先頭からそのビートまでの相対的な位置

る [11, 13–19]．素朴な手法として，一定の区間ごとに歌を表す．J は提案法によって推定される音符の個数であり，

声 F0 の多数決をとって音符の音高を決定する手法があj 番目の音符 zj は半音単位の音高 pj ∈ {1, . . . , K} と 16 分

る [11]．Paiva ら [13] は多重音検出，複数の F0 軌跡の構
築，それら軌跡の分割，不要な音符の消去，主旋律を形成す
る音符の抽出の 5 つの処理を順番に行う手法を提案した．

Raphael [14] は音符の個数を与えて，音高，リズム，テンポを推定する HMM に基づく手法を提案した．我々の提案法

音符単位の音価 lj ∈ {1, . . . , L} の組として表現される．ここで，K は楽譜中に現れる音高の種類数であり，pj は半音単位の音高に対応する対数周波数の集合 {µ1 , . . . , µK } のうちの 1 つを指し示す．初期音符 z0 は便宜上導入された
実際の楽譜には現れない音符である．

で用いられているリズムや歌声の発音時刻の逸脱に関するモデルは [14] で用いられたものと同様である．Laaksonenc 2017 Information Processing Society of Japan⃝2

Vol.2017-MUS-116 No.17
2017/8/25

情報処理学会研究報告
IPSJ SIG Technical ReportԽ߶& PDMRUԽ߶ϑʖφ࣎ࠃՐ੢)ٌ੽

௒֦͗Խ߶͹ड़Ώͤ͠Ν੏‫ޜ‬

Խ߶͹યҢ
Խ߶

(
'
'
&
&

Ր੢)ٌ੽
൅Խ࣎ࠃ͹ҵ୦)યҢ࣎ؔ





















     ϑʖφ͹ঘઇ಼
૮ଲҒ஖

Խෘ

Խෘ

बഀ਼๏޴͹ҵ୦࣎ࠃ࣎ࠃԽෘ͹֋࢟Ғ஖͹યҢ(a) 時間方向の逸脱

図 2: 楽譜モデル概要．

(b) 周波数方向の逸脱

図 3: 歌声 F0 軌跡に含まれる逸脱．

3.2 楽譜の確率的モデル化
本章では音符の音高が調とリズムに依存して生成される

符系列 Z が妥当なリズムを持つようにする．j 番目の音符過程を表現する HMM に基づく楽譜モデルについて説明

zj の開始位置を rj−1 ∈ {vn }n=1 とすると，音符の開始位置

する．

の遷移確率は以下のように与えられる．

N

3.2.1 調遷移のモデル化

p(rj |rj−1 , ζrj−1 ) = ζrj−1 rjM

調系列は S = {sm }m=0 で表現され，M は楽曲中の小節(7)

数，sm は m 番目の小節の調を表す．便宜上，初期音符 z0

ここで，rj−1 と rj との間の距離は音符 zj の音価 lj となる．

が所属する初期小節を導入し，その小節に割り当てられる曲の最初と最後に関しては r0 = v0 と rJ = vN とする．

調を s0 とする．転調に対応できるようにするため曲全体
で調を 1 つに固定せず，小節線で切り替わるようにする．

3.3 歌声 F0 軌跡の確率的モデル化

各調 sm は 24 通りの値 {C, C#, · · · , B} × {major, minor}

本章では歌声 F0 軌跡の生成過程を表現する HSMM にの中のいずれの値をとる．潜在変数 S は以下のようにマル基づく F0 モデルについて説明する．提案モデルでは，音コフ連鎖をなす．

符の音高と開始位置，時間方向の逸脱は潜在変数として表現され，周波数方向の逸脱は出力確率として表現する．

p(s0 |π) = πs0p(sm |sm−1 , ξsm−1 ) = ξsm−1 sm

(1)
(2)

24
ここで，π∈R24≥0 は初期確率，ξs ∈R≥0 は遷移確率である．

3.2.2 音高遷移のモデル化
音高系列 P は以下のように調系列 S に依存したマルコ
フ連鎖によって生成される (図 2)．

p(p0 |s0 , ϕs0 ) = ϕs0 p0p(pj |pj−1 , sm , ψsm pj−1 ) = ψsm pj−1 pj

3.3.1 時間方向の逸脱のモデル化
歌声 F0 軌跡には以下のように２種類の時間方向の逸脱が含まれると仮定する (図 3a)．
発音時刻の逸脱: 歌声の発音時刻と音符の開始位置との間のずれ．

F0 の遷移時間: ある音符の音高から次の音符の音高まで，歌声が遷移し切るのに要する時間．

(3)
(4)

J

音符系列 Z に付与される発音時刻の逸脱 G = {gj }j=0は離散潜在変数として表現される．音符の開始位置モデルと同様に音符 zj の発音時刻の逸脱を gj−1 とする．各 gj はK
ここで，ϕs ∈RK≥0 は初期確率，ψsp ∈R≥0 は遷移確率，m は−G から G までの整数値を取り，以下のようにそれぞれ独

音符 zj が属する小節のインデックスである．さらに, ϕs0 p0立に生成されるとする．

と ψsm pj−1 pj を以下のように定義する．

ϕ̂ŝ0 deg(p0 ;s0 )ϕs0 p0 = ∑K

p=1 ϕ̂ŝ0 deg(p;s0 )ψ̂ŝm deg(pj−1 ;sm )deg(pj ;sm )ψsm pj−1 pj = ∑K

p=1 ψ̂ŝm deg(pj−1 ;sm )deg(p;sm )p(gj |ρ) = ρgj
(5)

(8)

ここで，ρ ∈ R2G+1
は発音時刻逸脱の確率の集合である．
≥0
また，最初の音符の開始時刻と最後の音符の終了時刻には(6)

逸脱が無い，すなわち g0 = gJ = 0 であるとする．
J

音符系列 Z に付与される F0 の遷移時間 D = {dj }j=1

ここで，ŝ ∈ {major,minor} は調 s の旋法，deg(p;s) ∈は離散潜在変数として表現され，各 dj は 1 から D までの{0, . . . , 11} は調 s における音高 p の度数 (調 s の主音に対整数値をとる．音符 zj−1 と zj の間における歌声 F0 軌跡する p のピッチクラスの音程) である．ϕ̂∗ と ψ̂∗ はそれぞの連続的な遷移は，幅が dj フレームの斜め線によって表れ旋法が与えられた下でのピッチクラスの初期確率と遷移現される．各 dj は以下のように独立に生成される．

確率である．

3.2.3 音符の開始位置遷移のモデル化
隣接する音符の開始位置間の遷移を考慮することで，音c 2017 Information Processing Society of Japan⃝p(dj |η) = ηdj(9)

ここで，η ∈ RD
≥0 は F0 の遷移時間の確率の集合である．

3

Vol.2017-MUS-116 No.17
2017/8/25

情報処理学会研究報告
IPSJ SIG Technical Report߬௝ିଵԽ߶
>FHQW@

݃௝ିଵ‫ݑ‬௡ି௟ೕ

థ෡థ෡ࢻ୫୧୬୭୰ ൌ߬௝‫ݑ‬௡ࢻ୫ୟ୨୭୰ ൌ

݃௝
݀௝ାଵ

݀௝

ߤො௧

ߤ௣ೕ

ߤ௣ೕషభ
࣎ࠃ

݈௝

図 4: HSMM の潜在変数と出力確率の位置パラメータの関







歌声 F0 軌跡 X = {xt }Tt=1 は時間方向の逸脱が既に付与された音符系列に対して周波数方向の逸脱がさらに付与されて生成される (図 3b)．xt は各フレームごとに独立に生成されるとし，j 番目の音符 zj に関する出力確率は以下の通りである．

  

t=τj−1にガンマ事前分布を置く．

)(
λ ∼ Gamma aλ0 , aλ1(13)

ここで，aλ0 と aλ1 はハイパーパラメータである．

3.5 ベイズ推定
我 々 の 目 的 は 歌 声 F0 軌 跡 X が 与 え ら れ た 下 で 事
後分 布 p(S, Q, Θ|X) を計 算 す るこ と で ある ．こ こ で，カルロ法 (MCMC: Markov chain Monte Carlo) を用いて

S, Q, Θ の値をサンプルする．潜在変数 S と Q のサンプ
(10)

ここで，xτ ′ :τ −1 は xτ ′ , . . . , xτ −1 を表し，λ は周波数方向の逸脱の大きさを表現する尺度パラメータ，δ はクロネッ
カーのデルタ，µ̂t (図 4) は以下のように定義される位置パラメータである．
µpj −µpj−1 (t−τj−1 )+µp (τj−1 ≤t<τj +dj )
j−1
dj
µ̂t =
(11)
µ
(τj−1 +dj ≤t<τj )pj

ルにはフォワードフィルタリング・バックワードサンプリ
ングアルゴリズムを用いる．モデルパラメータ Θ のうち λ以外，すなわち共役事前分布を持つパラメータのサンプルにはギブスサンプリングアルゴリズムを用いる．パラメー
タ λ には共役事前分布が無いので，メトロポリス・ヘイス
ティングス (MH: Metropolis-Hastings) アルゴリズムを用いる．S と Q は音符系列 Z を共有し，相互に依存しているため，各変数は以下の手順で更新される．

( 1 ) 多数決法により音符系列 Z を初期化する．

音符 zj+1 の開始位置が n 番目のビートに位置していると( 2 ) Z に基づき調系列 S を更新する．

き，τj = un + gj ，τj−1 = un−lj + gj−1 である．

( 3 ) S に基づき Q を更新する．

3.4 事前分布の導入
離散モデルパラメータ π, ξ, ϕ̂, ψ̂, ζ, ρ,η に対して以下のようにディリクレ共役事前分布を置く．

( )( )π ∼ Dirichlet aπ ξs ∼ Dirichlet aξs( )()ϕ̂ŝ ∼ Dirichlet aϕ̂ŝ ψ̂ŝdeg(p;s) ∼Dirichlet aψ̂ŝdeg(p;s)( )ζr ∼ Dirichlet aζr( )( )ρ ∼ Dirichlet aρ η ∼ Dirichlet aη
(12)
ϕ̂
ψ̂
ξ
26
12
12
ここで，aπ ∈ R26+ , as ∈ R+ , aŝ ∈ R+ , aŝdeg(p;s) ∈ R+ ,2G+1
ρaζr ∈ R16
, aη ∈ RD+ , a ∈ R+
+ はハイパーパラメータである．ある調のもとでの各ピッチクラスの出やすさは，( 4 ) モデルパラメータ Θ を更新する．
( 5 ) 2 に戻る.
3.5.1 潜在変数 S の推論
音符系列 Z が与えられた下で各 sm は以下に示す確率に従いサンプルされる．

βsSm = p(sm |sm+1:M , Z)と調 S のサンプルにはフォワードフィルタリング・バック
ワードサンプリング法を用いる．
フォワードフィルタリングでは確率 αsSm が以下のように再帰的に計算される．

αsS0 = p(p0 , s0 ) = p(p0 |s0 )p(s0 ) = ϕs0 p0 πs0布を用いて制御される．図 5 に示すように，ハイパーパラ

αsSm = p(p0:jm+1 −1 , sm )メータ aϕ̂ŝ と aψ̂ŝdeg(p;s) はそれぞれダイアトニックスケールを表現するように設定される．コーシー分布は共役事前分布を持たないので，尺度パラメータ λ に対して以下のよう(14)

ここで，sm+1:M は sm+1 , . . . , sM を表す．式 (14) の計算

それらピッチクラスの初期確率と遷移確率に関する事前分

c 2017 Information Processing Society of Japan⃝਼ౕ

することが困難であるため，我々はマルコフ連鎖モンテ{δxt ,voiced Cauchy(xt |µ̂t , λ) + δxt ,unvoiced }= epj−1 pj lj gj−1 gj dj(モデルパラメータ) である．この事後分布は解析的に計算

τj −1

∏



Q = {P , L, G, D} (潜在変数)，Θ = {π, ξ, ϕ̂, ψ̂, ζ, ρ, η, λ}p(xτj−1 :τj −1 |pj−1 , pj , lj , gj−1 , gj , dj , µ̂t , λ)=

図 5: ハイパーパラメータ aϕ̂ŝ の設定．

係．黒い太線がコーシー分布の位置パラメータを表す．

3.3.2 周波数方向の逸脱のモデル化



jm+1 −1

=

∏

j=jm

ψsm pj−1 pj∑

ξsm−1 sm αsSm−1

(15)

(16)

sm−1

4

Vol.2017-MUS-116 No.17
2017/8/25

情報処理学会研究報告
IPSJ SIG Technical Report

ここで，jm は m 番目の小節に属する最初の音符のインデックスであり，既知の音価 L から計算できる．
バックワードサンプリングではフォワードフィルタリン
グで計算された値を用いて式 (14) を計算し，以下のように調が再帰的にサンプルされる．

βsSM = p(sM |Z) ∝ αsSM

(17)

βsSm = p(sm |sm+1:M , Z) ∝ αsSm ξsm sm+1

(18)

(
)
(
)
π∼Dirichlet aπ +bπ ξs ∼Dirichlet aξs +bξs)(
ϕ̂ŝ ∼Dirichlet aϕ̂ŝ +bϕ̂ŝ()ψ̂ψ̂ŝdeg(p;s) ∼Dirichlet aψ̂ŝdeg(p;s) +bŝdeg(p;s)()ζr ∼Dirichlet aζr +bζr()()
ρ ∼Dirichlet aρ +bρ η∼Dirichlet aη +bη

(22)
(23)
(24)
(25)
(26)

ここで，bπ ∈R26
≥0 は第 s0 成分だけが 1 の単位ベクトルであ′る．bξs ∈R26
≥0 はサンプル Y における調 s から s への遷移

3.5.2 潜在変数 Q の推論
潜在変数 Q は S と同様の方法で推論される．フォワー
ドフィルタリングでは確率 αpQn ln ,gn dn が以下のように再帰的に計算される．

の回数を第 s′ 成分が表すベクトルである．bρ ∈R2G+1
はサ≥0
ンプル Q における歌声の発音時刻の逸脱が g である回数を第 g 成分が表すベクトルであり，bη ∈RD≥0 はサンプル Q
における F0 の遷移時間が d である回数を第 d 成分が表す(19)ベクトルである．bζr ∈R16
≥0 は，バックワードサンプリング

αpQn ln gn dn= p(x1:τn −1 , pn , ln , gn , dn |S)0(ln >n)ρgn ηdn ζr0 rn



 ∑
· p0 ψs1 p0 pn ep0 pn ln 0gn dn αpQ0 l0 g0 d0(ln =n) (20)=′∑ ,L) ∑
 ∑ min(nρgn ηdn ζrn′ rn ψsm(n′ ) pn′ pnpn′ ,gn′

ln′
dn′



Q
 ·e
(ln <n)pn′ pn ln gn′ gn dn αpn′ ln′ gn′ dn′で得られた音価 L から計算される R= {rj }j=0 において，

αpQ0 l0 g0 d0 = p(p0 |S) = ϕy0 p0

ここで，τn = un + gn , n′ = n − ln であり，m(n′ ) は n′
番目のビートが属する小節のインデックスである．pn , ln ,J

音符の開始位置 r から r′ への遷移の回数を第 r′ 成分が表すベクトルである．ベクトル bϕ̂ŝ ∈R12
>0 は，初期小節の調と初期音符の音高がそれぞれ s0 = s，p0 = p である時，要素bϕ̂ŝdeg(p;s) の値が 1 でそれ以外の要素の値が 0 であるような12ベクトルである．ベクトル bψ̂ŝdeg(p;s) ∈R≥0 は，サンプルされた潜在変数において調 s の下で音高 p から p′ への遷移の回数を要素 bψ̂ŝdeg(p;s)deg(p′ ;s) が表すベクトルである．
尺度パラメータ λ については MH アルゴリズムを適用するため，以下のように提案分布を定める．

q(λ∗ |λ) = Gamma(γλ, γ)gn , dn は終了位置が n 番目のビート un に位置する音符に対応するフォワードメッセージの変数である．これらの変数は j を添字とする変数 pj , lj , gj , dj とは異なる．音符

zn = (pn , ln ) の開始位置と終了位置はそれぞれ (n−ln ) 番

ここで，λ∗ は次の λ の値の候補を表す変数，λ は現在の尺度パラメータの値，γ はハイパーパラメータである．λ のバックワードサンプリングではフォワードフィルタリン

値の更新は以下の確率に従い行われる．
}{
L(λ∗ )q(λ|λ∗ )A(λ∗ , λ) = min
L(λ)q(λ∗ |λ)グで計算された値を用いて潜在変数の事後分布を計算し，ここで，L(λ) は以下のように与えられる．

目のビートと n 番目のビートに位置し，式 (20) の再帰計
算に現れる確率 p(ln ) は p(rn |rn−ln ) に置き換えられる．

以下のように音符と時間方向の逸脱が再帰的にサンプルさ
れる．

(27)

J
(
)∏
L(λ) = Gamma λ|aλ0 , aλ1
epj−1 pj lj gj−1 gj dj

(28)

(29)

j=1

βpN lN gN dN = p(pN , lN , gN , dN |X, S) ∝ αpQN lN gN dN
βpn′ ln′ gn′ dn′= p(pn′ , ln′ , gn′ , dn′ |pn:N , ln:N , gn:N , dn:N , X)
0(ln >n)∝ epn′ pn ln gn′ gn dn ψsm(n′ ) pn′ pn
(21)



 ·ζ
ρ η αQ(l ≤ n)rn′ rn gn dn

pn′ ln′ gn′ dn′n3.5.3 モデルパラメータ Θ の学習J{pj , lj , gj , dj }j=0 はバックワードサンプリングでサンプルされた値である．一様分布 U(0, 1) からサンプルされた乱数よりも採択率 A(λ∗ , λ) の値が大きい場合に λ の値は λ∗に更新される．

3.6 ビタビ復号
潜在変数系列 S ，Q は学習時に同時分布 p(X, Q, S, Θ|Φ)を最大化したモデルパラメータの値を用いるビタビアルゴ

共役事前分布を持つモデルパラメータの事後分布はバッ

リズムによって推定される．潜在変数の推論と同様に，多クワードダンプリングで得られたサンプル S ，Q を用いて数決法により音符系列 Z を初期化したのち，Z に基づき計算される．そして，これらのパラメータは計算された事S を推定し，推定した S に基づき Q を推定する．

後分布に従い以下のようにサンプルされる．

c 2017 Information Processing Society of Japan⃝

S に関するビタビ復号では，以下のように ωsS が再帰的
5

Vol.2017-MUS-116 No.17
2017/8/25

情報処理学会研究報告
IPSJ SIG Technical Reportに計算される．

Y はアノテーションデータから得た．
ベイズ推定とビタビ復号は各曲独立に行われる．音符のωsS0 = ln ϕs0 k0 + ln πs0

(30)

}
{
ln ψsm pj−1 pj +max ln ξsm−1 sm+ωsSm−1 (31)jm+1 −1

ωsSm=

∑

sm−1

j=jm

ωsS の再帰計算では，ωsSm の値を最大化する 1 つ前の状態
sm−1 が cSsm として記録され，調系列 S は以下のように再帰的に推定される．

開始位置の遷移確率はロック音楽のコーパス [23] から事前に学習した．ハイパーパラメータは aπ =1, aξs =1, aζr =1,aρ = aη = aλ0 = aλ1 = γ =1, とした．ここで，1 と 1 はそれぞれすべての要素が 1 の行列とベクトルである．aϕ̂ŝ
と aψ̂ŝdeg(p;s) は，調 ŝ のダイアトニックスケール内のピッチクラスに対応する要素を 10，それ以外の要素を 1 に設定した．ビタビアルゴリズムの重みパラメータは経験的に

sm−1 = cSsm

sM = arg max αsSM
sM

(32)

wϕ = wψ = 29.4, wρ = 2.4, wη = 2.9, wζ = 48.5, we = 3.8とした．音楽的に一貫性のある音符系列を得るために，F0

Q
Q に関するビタビ復号では，ωplgdの値が以下のように再帰的に計算される．

モデル関する重みパラメータよりも楽譜モデルに関する重みパラメータの値を大きくした．

ωpQ0 l0 g0 d0 = wϕ ln ϕs0 p0(33)

ωpQn ln gn dn(ln >n)− inf




ρ
η
ζ


w ln ρgn +w ln ηdn +w ln ζrn r0


{




+
max
wψ ln ψs1 p0 pn
p

0


}
=
(ln =n)+ we ln ep0 pn ln 0gn dn + ωpQ0 l0 g0 d0





wρ ln ρgn +wη ln ηdn +wζ ln ζrn rn′


{




 + max(pn′ ,ln′ ,gn′ ,dn′ ) wψ ln ψsm(n′ ) pn′ pn


}



+ we ln epn′ pn ln gn′ gn dn + ωpQn′ ln′ gn′ dn′ (ln <n)(34)

比較ために，多数決法と準ビート同期 HMM に基づく従来法 [20] についても実験した．従来法 [20] については，無声区間を含む歌声 F0 軌跡を入力として扱えないため，無音区間を含まない推定データについてのみ実験した．言語
モデルの有効性を評価するために，提案法に関しても，1)
調とリズムのどちらも考慮しない手法，2) 調のみを考慮した手法，3) リズムのみを考慮した手法，4) 調とリズムの両方を考慮した手法，の４通りの実験を行った．提案法における学習を高速化するため，音符の音高の探索範囲を多数決法によって推定された音高の周囲に限定した．
各手法の性能を評価するため，正解の音符系列と推定された音符系列を比較して，ビート単位の一致率と音符単位の一致率を計算した．ビート単位の一致率は正解の楽譜内

ここで，w , w , w , w , w , w は各確率間のバランスの音符が存在するビート区間の個数に対して，正しく音高Qを制御する重みパラメータである．ωplgdの再帰計算では，が推定されたビート区間の個数の割合とする．音符単位の

ϕ

ψ

ρ

η

ζ

e

ωpQn ln gn dn の値を最大化する 1 つ前の状態 pn′ , ln′ , gn′ , dn′
が cQ
pn ln gn dn として記録され，Q は以下のように再帰的に推定される．

一致率は正解楽譜内の音符の個数に対して，音高，開始位
置，終了位置の 3 つ全てが正しく推定された音符の個数の割合とする．正解楽譜の中の隣接する音符が，同じ音高であるかタイで結ばれている場合，それらの音符をまとめて(pN , lN , gN , dN ) = arg max αpQN lN gN dN(35)(pn′ , ln′ , gn′ , dn′ ) = cQ
pn ln gn dn(36)

pN ,lN ,gN ,dN

4. 評価実験
歌声 F0 軌跡からの音符推定について，提案法の精度を評価するために比較実験を行った．

1 つの音符とみなした．従来法 [20] では 16 分音符ごとに音高を出力するので，連続する同じ音高の並びを 1 つの音符とみなした．

4.2 実験結果
実験結果を表 1 に示した．提案法は両評価尺度において，多数決法や従来法よりも音符推定精度が上回っていた．提案法に関する４通りの実験から得られたビート単位

4.1 実験条件の一致率を比較すると，楽譜モデルによって音符推定の性

RWC 研究用音楽データベース [21] のポピュラー音楽

能が向上することを確かめた．特に，調の遷移確率 (調の100 曲のうち，提案法が扱えない 32 分音符，3 連符，ハモ制約) よりも音符の開始時刻の遷移確率 (リズムの制約) のリパートなどを含む曲を除いた 63 曲を用いた．入力の歌方がより有効であることが分かった．ビート単位の一致率

声 F0 軌跡 X はアノテーションデータ [22] と [2] で提案

では，提案法 (68.7%) と従来法 (68.0%) で大きな差は見らされている手法よって推定されたものを用いた．アノテー

れなかったが，音符単位の一致率では，提案法が (30.7%)

ションデータには無声区間が含まれるが推定データには含が従来法 (14.8%) を大きく上回った．

まれない．ビート時刻とビートの小節内における相対位置c 2017 Information Processing Society of Japan⃝推定された楽譜の例を図 6 に示す．一部の音符が結合さ6

Vol.2017-MUS-116 No.17
2017/8/25

情報処理学会研究報告
IPSJ SIG Technical Report

表 1: ビート単位と音符単位の一致率 [%] および標準誤差問題を克服するためにも歌声 F0 軌跡とビート時刻の同時推定法について検討すべきである．

モデル

入力 F0

ビート単位

音符単位

提案法

正解

72.4 ± 1.7

28.1 ± 2.1

推定68.7 ± 1.3

30.7 ± 1.8

正解71.5 ± 1.6

26.3 ± 2.1

推定67.7 ± 1.3

29.1 ± 1.8

調のみ考慮

正解

67.8 ± 1.6

10.6 ± 1.2

参考文献

推定

65.6 ± 1.2

13.8 ± 1.1[1]

調・リズムを正解

67.2 ± 1.5

9.8 ± 1.2

考慮しない

推定

64.6 ± 1.2

12.9 ± 1.1

多数決法

正解

54.1 ± 1.5

20.1 ± 1.4

リズムのみ考慮

HMM [20]推定

61.0 ± 1.4

22.0 ± 1.5

推定68.0 ± 1.2

14.8 ± 1.3

ਜ਼մֺො

謝辞

16H01744, 16J05486 お よ び JST ACCEL No.

図 6: 提案法と調とリズムのどちらも考慮しない手法を用
いて正解の歌声 F0 軌跡から推定された楽譜の例．

[2]

[3]

[4]

[5]

れたことを除いて，提案法により推定された楽譜がほぼ正確であることがわかる．隣接する同じ音高の音符を正しく[6]推定するには歌声 F0 軌跡だけでは限界があり，元の歌声や音楽音響信号を参照する必要がある．一方で，楽譜モデ
ルを考慮せずに推定された楽譜には多くの推定誤りが含ま[7]れていた．この結果からも，音符推定において楽譜モデル
を音楽的制約として用いることの有効性が示せた．

5. おわりに[8]

本稿では歌声 F0 軌跡から音符系列を推定する統計的手法を示した．提案法は調から楽譜が生成される過程を表す
楽譜モデルと楽譜から時間・周波数方向の逸脱を伴って歌[9]

声 F0 軌跡が生成される過程を表す F0 モデルを統合した
階層隠れセミマルコフモデル (HHSMM) に基づいており，音楽的に一貫性のある音符系列を出力できることを確か
めた．

[10]

本研究の今後の方向として最も興味深いのは，音楽音響
信号に対する歌声 F0 推定において歌声 F0 軌跡の音楽的に有意な事前分布として提案したモデルを用いることである．本稿で提案した楽譜から F0 軌跡を生成するモデルを[11]「言語」モデルとし，歌声 F0 軌跡からスペクトログラムを出力する音響モデルと階層ベイズの枠組みで統合する予定
である．これにより音楽音響信号から歌声 F0 軌跡と楽譜[12]を同時に学習することが可能になる．また，提案法では事前に推定した歌声 F0 軌跡とビート時刻を入力として与えているが，入力の推定精度が音符推定精度に影響を与える

c 2017 Information Processing Society of Japan⃝JPM-

JAC1602 の支援を受けた．

ਬఈֺොਬఈֺොʤԽ֌ʀϨθϞϠυϩ͵͢ʥ本 研 究 の 一 部 は 、JSPS 科 研 費 26700020,[13]

Hermes, D. J.: Measurement of Pitch by Subharmonic
Summation, The journal of the acoustical society ofAmerica, Vol. 83, No. 1, pp. 257–264 (1988).
Ikemiya, Y., Yoshii, K. and Itoyama, K.: Singing voice
analysis and editing based on mutually dependent F0
estimation and source separation, 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015), pp. 574–578 (2015).
Durrieu, J.-L., Richard, G., David, B. and Févotte, C.:
Source/filter model for unsupervised main melody extraction from polyphonic audio signals, IEEE Transactions on Audio, Speech, and Language Processing,Vol. 18, No. 3, pp. 564–575 (2010).
de Cheveigné, A. and Kawahara, H.: YIN, a fundamental
frequency estimator for speech and music, The Journalof the Acoustical Society of America, Vol. 111, No. 4,
pp. 1917–1930 (2002).
Mauch, M. and Dixon, S.: pYIN: A fundamental frequency estimator using probabilistic threshold distributions, 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2014), pp.
659–663 (2014).
Li, Y. and Wang, D.: Separation of singing voice frommusic accompaniment for monaural recordings, IEEE
Transactions on Audio, Speech, and Language Processing, Vol. 15, No. 4, pp. 1475–1487 (2007).
Huang, P.-S., Chen, S. D., Smaragdis, P. and HasegawaJohnson, M.: Singing-voice Separation from Monaural
Recordings Using Robust Principal Component Analysis, 2012 IEEE International Conference on Acoustics,
Speech and Signal Processing (ICASSP 2012), pp. 57–
60 (2012).
Kim, Y. E. and Whitman, B.: Singer identification in
popular music recordings using voice coding features, 3rdInternational Conference on Music Information Retrieval (ISMIR 2002), Vol. 13, p. 17 (2002).
Tsai, W.-H. and Wang, H.-M.: Automatic singer recognition of popular music recordings via estimation andmodeling of solo vocal signals, IEEE Transactions on
Audio, Speech, and Language Processing, Vol. 14, No. 1,
pp. 330–341 (2006).
Ryynänen, M., Virtanen, T., Paulus, J. and Klapuri,
A.: Accompaniment separation and karaoke application
based on automatic melody transcription, 2008 IEEE
International Conference on Multimedia and Expo, pp.
1417–1420 (2008).
Goto, M., Yoshii, K., Fujihara, H., Mauch, M. andNakano, T.: Songle: A Web Service for Active Music
Listening Improved by User Contributions., Proc. of the
12th International Society for Music Information Retrieval Conference (ISMIR 2011), pp. 311–316 (2011).
Salamon, J. and Gómez, E.: Melody extraction frompolyphonic music signals using pitch contour characteristics, IEEE Transactions on Audio, Speech, and Language Processing, Vol. 20, No. 6, pp. 1759–1770 (2012).
Paiva, R. P., Mendes, T. and Cardoso, A.: On the De-

7

情報処理学会研究報告
IPSJ SIG Technical Report

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

Vol.2017-MUS-116 No.17
2017/8/25

tection of Melody Notes in Polyphonic Audio., 6th International Conference on Music Information Retrieval(ISMIR 2005), pp. 175–182 (2005).
Raphael, C.: A Graphical Model for Recognizing Sung
Melodies., 6th International Conference on Music Information Retrieval (ISMIR 2005), pp. 658–663 (2005).
Laaksonen, A.: Automatic Melody Transcription basedon Chord Transcription., Proc. of the 15th International
Society for Music Information Retrieval (ISMIR 2014),
pp. 119–124 (2014).
Ryynänen, M. P. and Klapuri, A. P.: Automatic transcription of melody, bass line, and chords in polyphonicmusic, Computer Music Journal, Vol. 32, No. 3, pp. 72–
86 (2008).
Molina, E., Tardón, L. J., Barbancho, A. M. and Barbancho, I.: SiPTH: Singing transcription based on hysteresis defined on the pitch-time curve, IEEE/ACM
Transactions on Audio, Speech and Language Processing (TASLP), Vol. 23, No. 2, pp. 252–263 (2015).
Yang, L., Maezawa, A., Smith, J. B. L. and Chew, E.:
Probabilistic Transcription of Sung Melody Using a Pitch
Dynamic Model, 2017 IEEE International Conferenceon Acoustics, Speech and Signal Processing (ICASSP
2017), pp. 301–305 (2017).
Mauch, M., Cannam, C., Bittner, R., Fazekas, G., Salamon, J., Dai, J., Bello, J. and Dixon, S.: Computeraided Melody Note Transcription Using the Tony Software: Accuracy and Eﬃciency, Proc. of the 1st International Conference on Technologies for Music Notation
and Representation (TENOR 2015), pp. 23–30 (2015).
Nishikimi, R., Nakamura, E., Itoyama, K. and Yoshii, K.:
Musical Note Estimation for F0 Trajectories of Singing
Voices Based on a Bayesian Semi-Beat-Synchronous
HMM, Proc. of the 17th International Society for Music
Information Retrieval Conference (ISMIR 2016), pp.
461–467 (2016).
Goto, M., Hashiguchi, H., Nishimura, T. and Oka, R.:
RWC Music Database: Popular, Classical and Jazz Music Databases, The 3rd International Conference onMusic Information Retrieval (ISMIR 2002), pp. 287–
288 (2002).
Goto, M.: AIST Annotation for the RWC Music
Database., The 7th International Conference on Music Information Retrieval (ISMIR 2006), pp. 359–360(2006).
De Clercq, T. and Temperley, D.: A corpus analysis ofrock harmony, Popular Music, Vol. 30, No. 01, pp. 47–70(2011).

c 2017 Information Processing Society of Japan⃝

8