一般社団法人 電子情報通信学会
THE
INSTITUTE
OF ELECTRONICS,
社団法人
電子情報通信学会
INFORMATIONAND OFCOMMUNICATIONENGINEERS
THE INSTITUTE
ELECTRONICS,

信学技報
IEICE Technical Report
信学技報
IBISML2017-54(2017-11)
TECHNICALREPORT
OF IEICE.

INFORMATION AND COMMUNICATION ENGINEERS[ポスター講演] 調とリズムを考慮した
階層隠れセミマルコフモデルに基づく歌声の自動採譜
錦見

亮†

中村

栄太†

後藤

真孝††

糸山

克寿†

吉井

和佳†,†††† 京都大学大学院情報学研究科†† 産業技術総合研究所 (AIST)††† 理化学研究所 革新知能統合研究センター (AIP)
E-mail: †{nishikimi,enakamura,itoyama,yoshii}@sap.ist.i.kyoto-u.ac.jp, ††m.goto@aist.go.jp
あらまし

本稿では歌声 F0 軌跡から音楽的に自然な音符系列を推定する統計的手法を示す．歌声の発音時刻や F0 は楽譜に示されたビート時刻や音符の音高からの大きな逸脱を含むため，歌声 F0 軌跡の時間・周波数方向への離散化による音符推定の精度を向上するためには，楽譜の音楽的な自然さを表現する楽譜モデルが重要である．我々は調とリズムに依存する音符の音高を表現する楽譜モデルと楽譜 (音符系列) から時間・周波数方向に逸脱する歌声 F0 軌跡を表現する F0 モデルとを統合した階層隠れセミマルコフモデル (HHSMM: hierarchical hidden semi-Markov model)を提案する．楽譜モデルでは，確率的に生成された調に従って音符の音高が生成される．さらに，音符の開始位置はビートの 1 次元格子上に定義されたマルコフ過程に従って生成される．F0 モデルでは，歌声の発音時刻の時間方向の逸脱，音符間における F0 の滑らかな遷移，F0 の周波数方向の逸脱が確率的に生成され，楽譜に付与される．提案法
では，楽譜モデルと F0 モデルが音符推定に与える影響を考慮しながら，入力の歌声 F0 軌跡から尤もらしい音符系列を推定する．実験結果から調やリズムを考慮しない場合と比較して，提案法による音符系列の推定精度が向上することを示した．
キーワード 歌声，自動採譜，階層隠れセミマルコフモデル

1. は じ め に

歌声は通常ポピュラー音楽のメロディラインを形成し，楽曲に関する多くの情報を提供するため，歌声解析は音楽情報検索

 








をはじめとした様々な音楽アプリケーションにとって重要であ

る．歌声 F0 推定 [1–5] や歌声分離 [6, 7] といった歌声解析技術



は盛んに研究されており，歌手同定 [8, 9]，カラオケ生成 [10]，ハミング検索 [7]，能動的音楽鑑賞 [11] などに応用されている．



さらに，歌声に含まれる情報をより活用するためには，歌声 F0

軌跡を離散的な記号のみを含む楽譜に変換することが有用で

図 1: 楽譜モデルと F0 モデルの階層隠れセミマルコフモデル

ある．
本研究では，楽譜に対して多くの逸脱を含む歌声 F0 軌跡からの音符系列推定に取り組む．楽譜における音符の音高や開始位置は離散的な値であるが，歌声 F0 軌跡は時間経過ともに滑らかに変化する連続的な信号である．例えば，歌声 F0 軌跡はビブラートによって振動したり，ポルタメントによってある音符から次の音符へと滑らかに変化したりする．したがって，歌
声 F0 軌跡を単純に時間・周波数方向に離散化すると不自然なリズムや統計的に稀な半音階進行を含む音符系列がしばしば推定されてしまう．
この問題を解決するため，音符系列の生成過程を表現する楽譜モデルと歌声 F0 軌跡の生成過程を表現する F0 モデルの統合モデルに基づく調とリズムを考慮した統計的音符推定手法をに基づく歌声 F0 軌跡の生成過程．
提案する (図 1)．楽譜モデルでは，各小節ごとに調がマルコフ過程により決定され，音符の音高は調と直前の音符の音高に依存して決まる．各調のもとでは，調の音階構成音に含まれる音
名を持つ音高が出やすくなるよう制御される．ビートグリッド
上に定義される各音符の開始位置は，直前の音符の開始位置に依存することで，リズム構造を形成する．F0 モデルでは，楽譜モデルによって生成された楽譜に対応する階段関数状の F0
軌跡に時間・周波数方向の逸脱が付与される．統合モデルは
階層隠れセミマルコフモデル (HHSMM: hierarchical hidden

semi-Markov model) として定式化される．提案法は歌声 F0—1—- 147 -

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

Copyright ©2017

by

IEICE

軌跡とビート時刻を入力として受け取り，マルコフ連鎖モンテ 

カルロ法を用いることで，HHSMM の潜在変数として表現される調，音符，F0 の逸脱を同時に推定する．歌声 F0 軌跡の時
間・周波数方向の離散化において調やリズムが自己組織化の制約として機能することが本手法の重要な特徴である．












2. 関 連 研 究





















     


本章では歌声解析に関する研究を紹介する．

図 2: 楽譜モデル概要．

2. 1 音楽音響信号に対する歌声 F0 推定
音楽音響信号に対する歌声 F0 軌跡の推定は活発に研究されており [1–5]，これらの出力結果は提案法の入力として用いら行い，Ryynänen’s らの手法 [16] を基にした手法を用いて音符れる．最も基本的な方法の 1 つとして，各 F0 候補のそれぞれ推定を行う．

について高調波成分の和を計算する Subharmonic Summation

3. 提 案 法(SHS) [1] がある．池宮ら [2] は SHS に基づく歌声 F0 推定とロバスト主成分分析 (RPCA: robust principal component

本章では歌声 F0 軌跡から音符系列を推定する提案法についanalysis) に基づく歌声分離の性能を，これら２つのタスクの相て説明する．提案法は，調に依存する音符系列から時間・周波数

互依存性を利用することで改善した．Salamon ら [12] は特徴

方向の逸脱を伴って歌声 F0 軌跡が確率的に生成される過程を関数を計算することで歌声 F0 軌跡の候補を推定し，各軌跡のHHSMM に基づいて表現する．提案モデルの上層は小節に割

特徴から主旋律を形成しない軌跡を再帰的に消去する手法を提り当てられた調に従って音符系列が確率的に生成される過程を案した．Durrieu ら [3] は歌声と伴奏をそれぞれソース・フィル

表現する HMM である．下層は時間方向の逸脱と周波数方向のターモデルと非負値行列因子分解 (NMF: non-negative matrix

逸脱がそれぞれ潜在変数と出力確率として表現される HSMM

factorization) に基づくモデルで表現することにより，主旋律である．

の分離を行った．Mauch ら [5] は YIN [4] を確率的な手法に修

3. 1 問 題 設 定

正することで，システムが複数の F0 候補を出力し，その中か我々が取り組む問題を以下のように定める．

ら各フレームごとに 1 つの F0 を HMM を用いて選択するようにした．

入力：歌声 F0 軌跡 X= {xt }T
t=1 と 16 分音符単位のビート時
刻 Y = {(un , vn )}N
n=0 ,2. 2 歌声に対する音符推定
歌声に対する音符推定も盛んに研究が行われている

出力：音符系列 Z= {zj =(pj , lj )}Jj=0 ,[11, 13–19]．素朴な手法として，一定の区間ごとに歌声 F0

ここで，T は歌声 F0 軌跡のフレーム数，xt は時刻 t におの多数決をとって音符の音高を決定する手法がある [11]．Paiva

ける対数周波数，N は 16 分音符単位のビートの数である．

ら [13] は多重音検出，複数の F0 軌跡の構築，それら軌跡の分

un ∈ {1, . . ., T +1} は n 番目のビート時刻であり，楽曲の最割，不要な音符の消去，主旋律を形成する音符の抽出の 5 つの初と最後は u0 = 1 と uN = T +1 としてそれぞれ表される．

処理を順番に行う手法を提案した．Raphael [14] は音符の個数

vn ∈ {0, . . ., 15} は n 番目のビートが所属する小節内においを与えて，音高，リズム，テンポを推定する HMM に基づく手て，小節の先頭からそのビートまでの相対的な位置を表す．J法を提案した．我々の提案法で用いられているリズムや歌声のは提案法によって推定される音符の個数であり，j 番目の音符

発音時刻の逸脱に関するモデルは [14] で用いられたものと同

zj は半音単位の音高 pj ∈ {1, . . . , K} と 16 分音符単位の音価様である．Laaksonen ら [15] は入力として与えたコードの境

lj ∈ {1, . . . , L} の組として表現される．ここで，K は楽譜中界に注目することで音響データを調と音符に対応する区間に分に現れる音高の種類数であり，pj は半音単位の音高に対応する

割し，スコア関数に基づいて各区間ごとに音符を推定する手法

対数周波数の集合 {µ1 , . . . , µK } のうちの 1 つを指し示す．初を提案した．Ryynänen ら [16] は 1 つの音符内における種々の歌声変動 (例えば，ビブラートやポルタメント）を捉えるため

期音符 z0 は便宜上導入された実際の楽譜には現れない音符である．

に階層 HMM に基づく手法を提案した．この手法のモデルで3. 2 楽譜の確率的モデル化

は，上層の HMM が音符の音高間の遷移を表し，下層の HMM

本章では音符の音高が調とリズムに依存して生成される過程

が歌声変動の遷移を表す．Molina ら [17] は歌声 F0 軌跡におを表現する HMM に基づく楽譜モデルについて説明する．

ける履歴現象に焦点を当てた．錦見ら [20] は時間・周波数方

3. 2. 1 調遷移のモデル化

向の逸脱を考慮した歌声 F0 軌跡の生成過程を表現する HMM

調系列は S = {sm }M
m=0 で表現され，M は楽曲中の小節数，に基づく手法を提案した．Yang ら [18] は f0 -∆f0 平面の生成

sm は m 番目の小節の調を表す．便宜上，初期音符 z0 が所属過程を表現する階層 HMM に基づく手法を提案した．Mauch

する初期小節を導入し，その小節に割り当てられる調を s0 とすら [19] は音高抽出を行う Tony というソフトウェアツールを開る．転調に対応できるようにするため曲全体で調を 1 つに固定発した．このツール内では，PYIN [5] を用いて歌声 F0 推定を- 148 -

—2—




































 










図 4: HSMM の潜在変数と出力確率の位置パラメータの関係．

(a) 時間方向の逸脱(b) 周波数方向の逸脱

黒い太線がコーシー分布の位置パラメータを表す．

図 3: 歌声 F0 軌跡に含まれる逸脱．
と開始位置，時間方向の逸脱は潜在変数として表現され，周波せず，小節線で切り替わるようにする．各調 sm は 24 通りの値

数方向の逸脱は出力確率として表現する．

3. 3. 1 時間方向の逸脱のモデル化{C, C#, · · · , B} × {major, minor} の中のいずれの値をとる．

潜在変数 S は以下のようにマルコフ連鎖をなす．

p(s0 |π) = πs0p(sm |sm−1 , ξsm−1 ) = ξsm−1 sm

まれると仮定する (図 3a)．

(1)

発音時刻の逸脱: 歌声の発音時刻と音符の開始位置との間の

(2)

ずれ．

F0 の遷移時間: ある音符の音高から次の音符の音高まで，歌24
ここで，π∈R24≧0 は初期確率，ξs ∈R≧0 は遷移確率である．

声が遷移し切るのに要する時間．

3. 2. 2 音高遷移のモデル化

音高系列 P は以下のように調系列 S に依存したマルコフ連鎖によって生成される (図 2)．

p(p0 |s0 , ϕs0 ) = ϕs0 p0p(pj |pj−1 , sm , ψsm pj−1 ) = ψsm pj−1 pj

とする．

(4)

ψsm pj−1 pj を以下のように定義する．

ψsm pj−1 pj = ∑K

p=1

ψ̂ŝm deg(pj−1 ;sm )deg(p;sm )散潜在変数として表現される．音符の開始位置モデルと同様にまでの整数値を取り，以下のようにそれぞれ独立に生成される(3)

符 zj が属する小節のインデックスである．さらに, ϕs0 p0 とψ̂ŝm deg(pj−1 ;sm )deg(pj ;sm )音符系列 Z に付与される発音時刻の逸脱 G = {gj }Jj=0 は離

音符 zj の発音時刻の逸脱を gj−1 とする．各 gj は −G から GK
ここで，ϕs ∈RK≧0 は初期確率，ψsp ∈R≧0 は遷移確率，m は音ϕ̂ŝ deg(p0 ;s0 )ϕs0 p0 = ∑K 0
ϕ̂
p=1 ŝ0 deg(p;s0 )歌声 F0 軌跡には以下のように２種類の時間方向の逸脱が含

p(gj |ρ) = ρgj(8)

ここで，ρ ∈ R2G+1
は発音時刻逸脱の確率の集合である．ま≧0

た，最初の音符の開始時刻と最後の音符の終了時刻には逸脱が無い，すなわち g0 = gJ = 0 であるとする．

(5)

音符系列 Z に付与される F0 の遷移時間 D = {dj }Jj=1 は離散潜在変数として表現され，各 dj は 1 から D までの整数値をとる．音符 zj−1 と zj の間における歌声 F0 軌跡の連続的な遷(6)

移は，幅が dj フレームの斜め線によって表現される．各 dj は

こ こ で ，ŝ ∈ {major,minor} は 調 s の 旋 法 ，deg(p;s) ∈以下のように独立に生成される．

{0, . . . , 11} は調 s における音高 p の度数 (調 s の主音に対する p のピッチクラスの音程) である．ϕ̂∗ と ψ̂∗ はそれぞれ旋法が与えられた下でのピッチクラスの初期確率と遷移確率でp(dj |η) = ηdj(9)

ここで，η ∈ RD
≧0 は F0 の遷移時間の確率の集合である．

3. 3. 2 周波数方向の逸脱のモデル化

ある．

3. 2. 3 音符の開始位置遷移のモデル化
隣接する音符の開始位置間の遷移を考慮することで，音符系

歌声 F0 軌跡 X = {xt }T
t=1 は時間方向の逸脱が既に付与された音符系列に対して周波数方向の逸脱がさらに付与されて生列 Z が妥当なリズムを持つようにする．j 番目の音符 zj の開成される (図 3b)．xt は各フレームごとに独立に生成されると始位置を rj−1 ∈ {vn }Nn=1 とすると，音符の開始位置の遷移確率

し，j 番目の音符 zj に関する出力確率は以下の通りである．

は以下のように与えられる．

p(rj |rj−1 , ζrj−1 ) = ζrj−1 rjp(xτj−1 :τj −1 |pj−1 , pj , lj , gj−1 , gj , dj , µ̂t , λ)(7)=

ここで，rj−1 と rj との間の距離は音符 zj の音価 lj となる．曲

τj −1

∏

t=τj−1の最初と最後に関しては r0 = v0 と rJ = vN とする．

{δxt ,voiced Cauchy(xt |µ̂t , λ) + δxt ,unvoiced }= epj−1 pj lj gj−1 gj dj

3. 3 歌声 F0 軌跡の確率的モデル化
本章では歌声 F0 軌跡の生成過程を表現する HSMM に基づ
く F0 モデルについて説明する．提案モデルでは，音符の音高(10)

ここで，xτ ′ :τ −1 は xτ ′ , . . . , xτ −1 を表し，λ は周波数方向の逸脱の大きさを表現する尺度パラメータ，δ はクロネッカーのデ- 149 -—3—

（ 2 ） Z に基づき調系列 S を更新する．









（ 3 ） S に基づき Q を更新する．


















（ 4 ） モデルパラメータ Θ を更新する．

  （ 5 ） 2 に戻る.

3. 5. 1 潜在変数 S の推論

図 5: ハイパーパラメータ aϕ̂ŝ の設定．

音符系列 Z が与えられた下で各 sm は以下に示す確率に従い
ルタ，µ̂t (図 4) は以下のように定義される位置パラメータでサンプルされる．

ある．

µpj −µpj−1 (t−τj−1 )+µp

µ̂t =

µp

dj

βsSm = p(sm |sm+1:M , Z)j−1

(τj−1 ≦t<τj +dj )(τj−1 +dj ≦t<τj )j

ここで，sm+1:M は sm+1 , . . . , sM を表す．式 (14) の計算と調(11)

S のサンプルにはフォワードフィルタリング・バックワードサ

音符 zj+1 の開始位置が n 番目のビートに位置しているとき，

τj = un + gj ，τj−1 = un−lj + gj−1 である．

ンプリング法を用いる．
フォワードフィルタリングでは確率 αsSm が以下のように再帰的に計算される．

3. 4 事前分布の導入

αsS0 = p(p0 , s0 ) = p(p0 |s0 )p(s0 ) = ϕs0 p0 πs0離散モデルパラメータ π, ξ, ϕ̂, ψ̂, ζ, ρ,η に対して以下のよ()( ϕ̂ )ϕ̂ŝ ∼ Dirichlet aŝ( )ζr ∼ Dirichlet aζr( ρ)ρ ∼ Dirichlet a( )ξs ∼ Dirichlet aξs( ψ̂η ∼ Dirichlet a=∑ξsm−1 sm αsSm−1

(16)

(12)

スであり，既知の音価 L から計算できる．

る．ある調のもとでの各ピッチクラスの出やすさは，それら計算された値を用いて式 (14) を計算し，以下のように調が再帰的にサンプルされる．

βsSM = p(sM |Z) ∝ αsSMて制御される．図 5 に示すように，ハイパーパラメータ aϕ̂ŝ とaψ̂はそれぞれダイアトニックスケールを表現するようにŝdeg(p;s)

(13)

(17)

βsSm = p(sm |sm+1:M , Z) ∝ αsSm ξsm sm+1

(18)

3. 5. 2 潜在変数 Q の推論設定される．コーシー分布は共役事前分布を持たないので，尺度パラメータ λ に対して以下のようにガンマ事前分布を置く．

sm−1

バックワードサンプリングではフォワードフィルタリングで

ピッチクラスの初期確率と遷移確率に関する事前分布を用い)

ψsm pj−1 pj

ここで，jm は m 番目の小節に属する最初の音符のインデック

2G+1
ρ
aζr ∈ R16
, aη ∈ RD+ , a ∈ R+
+ はハイパーパラメータであ

(

∏

j=jm

ϕ̂
ψ̂
ξ
26
12
12
ここで，aπ ∈ R26+ , as ∈ R+ , aŝ ∈ R+ , aŝdeg(p;s) ∈ R+ ,λ ∼ Gamma aλ0 , aλ1

jm+1 −1)ψ̂ŝdeg(p;s) ∼Dirichlet aŝdeg(p;s)

( η)

(15)

αsSm = p(p0:jm+1 −1 , sm )うにディリクレ共役事前分布を置く．

π ∼ Dirichlet aπ(14)

潜在変数 Q は S と同様の方法で推論される．フォワード
フィルタリングでは確率 αpQn ln ,gn dn が以下のように再帰的に計算される．

λ
ここで，aλ0 と a1 はハイパーパラメータである．

αpQ0 l0 g0 d0 = p(p0 |S) = ϕy0 p0

3. 5 ベイズ推定
我 々 の 目 的 は 歌 声 F0 軌 跡 X が 与 え ら れ た 下 で 事 後
分 布 p(S, Q, Θ|X) を 計 算 す る こ と で あ る ．こ こ で ，Q ={P , L, G, D} (潜在変数)，Θ = {π, ξ, ϕ̂, ψ̂, ζ, ρ, η, λ} (モデルパラメータ) である．この事後分布は解析的に計算すること=が困難であるため，我々はマルコフ連鎖モンテカルロ法 (MCMC:

Markov chain Monte Carlo) を用いて S, Q, Θ の値をサンプルする．潜在変数 S と Q のサンプルにはフォワードフィルタ

つパラメータのサンプルにはギブスサンプリングアルゴリズム



0






ρgn ηdn ζr0 rn



 ∑
·

(ln >n)αQ(l =n)eψ
p0 s1 p0 pn p0 pn ln 0gn dn p0 l0 g0 d0 n′
min(n ,L)



∑





pn′ ,gn′



 ·e

∑
ln′

∑

dn′

(20)

ρgn ηdn ζrn′ rn ψsm(n′ ) pn′ pnQ
pn′ pn ln gn′ gn dn αp ′ l ′ g ′ d ′n n n nリング・バックワードサンプリングアルゴリズムを用いる．モ
デルパラメータ Θ のうち λ 以外，すなわち共役事前分布を持(19)

αpQn ln gn dn= p(x1:τn −1 , pn , ln , gn , dn |S)(ln <n)ここで，τn = un + gn , n′ = n − ln であり，m(n′ ) は n′ 番目のビートが属する小節のインデックスである．pn , ln , gn , dnを用いる．パラメータ λ には共役事前分布が無いので，メトロ

は終了位置が n 番目のビート un に位置する音符に対応する

ポリス・ヘイスティングス (MH: Metropolis-Hastings) アルゴ

フォワードメッセージの変数である．これらの変数は j を添

リズムを用いる．S と Q は音符系列 Z を共有し，相互に依存字とする変数 pj , lj , gj , dj とは異なる．音符 zn = (pn , ln ) のしているため，各変数は以下の手順で更新される．

開始位置と終了位置はそれぞれ (n−ln ) 番目のビートと n 番目

（ 1 ） 多数決法により音符系列 Z を初期化する．

のビートに位置し，式 (20) の再帰計算に現れる確率 p(ln ) は- 150 -—4—

p(rn |rn−ln ) に置き換えられる．

(

L(λ) = Gamma λ|aλ0 , aλ1

バックワードサンプリングではフォワードフィルタリングで計算された値を用いて潜在変数の事後分布を計算し，以下のよた値である．一様分布 U (0, 1) からサンプルされた乱数よりもβpN lN gN dN = p(pN , lN , gN , dN |X, S) ∝ αpQN lN gN dN

採択率 A(λ∗ , λ) の値が大きい場合に λ の値は λ∗ に更新される．

3. 6 ビタビ復号

βpn′ ln′ gn′ dn′

潜在変数系列 S ，Q は学習時に同時分布 p(X, Q, S, Θ|Φ) を= p(pn′ , ln′ , gn′ , dn′ |pn:N , ln:N , gn:N , dn:N , X)
∝





最大化したモデルパラメータの値を用いるビタビアルゴリズム(ln >n)· ζrn′ rn ρgn ηdn αpQ ′ l ′ g ′ d ′n n n nによって推定される．潜在変数の推論と同様に，多数決法によ(21)

epn′ pn ln gn′ gn dn ψsm(n′ ) pn′ pn

り音符系列 Z を初期化したのち，Z に基づき S を推定し，推(ln ≦ n)

定した S に基づき Q を推定する．

S に関するビタビ復号では，以下のように ωsS が再帰的に計

3. 5. 3 モデルパラメータ Θ の学習
共役事前分布を持つモデルパラメータの事後分布はバック

算される．

ωsS0 = ln ϕs0 k0 + ln πs0

ワードダンプリングで得られたサンプル S ，Q を用いて計算される．そして，これらのパラメータは計算された事後分布に従(ϕ̂ŝ ∼Dirichlet

( ϕ̂

)

aŝ +bϕ̂ŝ)(ξs ∼Dirichlet aξs +bξs

( ψ̂ψ̂ŝdeg(p;s) ∼Dirichlet aŝdeg(p;s) +bψ̂ŝdeg(p;s)(ζr ∼Dirichlet aζr +bζr

( ρ

ρ ∼Dirichlet a +b

)

)
ρ

( η

)

η∼Dirichlet a +b

)

)
η

(31)

が cS
sm として記録され，調系列 S は以下のように再帰的に推

(24)

定される．

(25)

sM = arg max αsSM
sM

(26)

sm−1 = cS
sm

(32)

Q
の値が以下のように再帰Q に関するビタビ復号では，ωplgd

的に計算される．

ωpQ0 l0 g0 d0 = wϕ ln ϕs0 p0

第 s′ 成分が表すベクトルである．bρ ∈R2G+1
はサンプル Q に≧0(33)

ωpQn ln gn dn

おける歌声の発音時刻の逸脱が g である回数を第 g 成分が表すベクトルであり，bη ∈RD≧0 はサンプル Q における F0 の遷移時

間が d である回数を第 d 成分が表すベクトルである．bζr ∈R16
≧0

は，バックワードサンプリングで得られた音価 L から計算される R= {rj }Jj=0 において，音符の開始位置 r から r′ への遷移の12
回数を第 r′ 成分が表すベクトルである．ベクトル bϕ̂ŝ ∈R>0 は，=初期小節の調と初期音符の音高がそれぞれ s0 = s，p0 = p である時，要素 bϕ̂ŝdeg(p;s) の値が 1 でそれ以外の要素の値が 0 で12あるようなベクトルである．ベクトル bψ̂ŝdeg(p;s) ∈R≧0 は，サンプルされた潜在変数において調 s の下で音高 p から p′ への遷



− inf






wρ ln ρgn +wη ln ηdn +wζ ln ζrn r0


{




+
max
wψ ln ψs1 p0 pn
p

0



+ we ln ep0 pn ln 0gn dn + ωpQ0 l0 g0 d0(ln >n)}(ln =n)wρ ln ρgn +wη ln ηdn +wζ ln ζrn rn′


{



wψ ln ψsm(n′ ) pn′ pn
+
max

,d
)
(p
,l
,g
′
′
′
′

n
n
n
n

}


 + we ln ep p l g g d + ω Q(ln <n)n′ n n n′ n n

pn′ ln′ gn′ dn′(34)

移の回数を要素 bψ̂が表すベクトルである．
ŝdeg(p;s)deg(p′ ;s)尺度パラメータ λ については MH アルゴリズムを適用する

ため，以下のように提案分布を定める．

ここで，wϕ , wψ , wρ , wη , wζ , we は各確率間のバランスを制御
Qする重みパラメータである．ωplgdの再帰計算では，ωpQn ln gn dnq(λ∗ |λ) = Gamma(γλ, γ)の値を最大化する 1 つ前の状態 pn′ , ln′ , gn′ , dn′ が cQ
pn ln gn dn(27)

ここで，λ∗ は次の λ の値の候補を表す変数，λ は現在の尺度パとして記録され，Q は以下のように再帰的に推定される．

ラメータの値，γ はハイパーパラメータである．λ の値の更新は以下の確率に従い行われる．

A(λ∗ , λ) = min

sm−1

}

(23)

′
bξs ∈R26≧0 はサンプル Y における調 s から s への遷移の回数をL(λ )q(λ|λ )L(λ)q(λ∗ |λ)∗{ln ψsm pj−1 pj + max ln ξsm−1 sm+ωsSm−1

ωsS の再帰計算では，ωsSm の値を最大化する 1 つ前の状態 sm−1

ここで，bπ ∈R26
≧0 は第 s0 成分だけが 1 の単位ベクトルである．

{

∑

j=jm

(22)

(30)

jm+1 −1ωsSm=

い以下のようにサンプルされる．

π∼Dirichlet aπ +bπ(29)

epj−1 pj lj gj−1 gj dj

j=1{pj , lj , gj , dj }Jj=0 はバックワードサンプリングでサンプルされうに音符と時間方向の逸脱が再帰的にサンプルされる．



0



J
)∏

∗

}

(pN , lN , gN , dN ) =arg max αpQN lN gN dN(pn′ , ln′ , gn′ , dn′ ) = cQ
pn ln gn dn
(28)

(35)

pN ,lN ,gN ,dN(36)

4. 評 価 実 験

ここで，L(λ) は以下のように与えられる．

歌声 F0 軌跡からの音符推定について，提案法の精度を評価- 151 -

—5—



表 1: ビート単位と音符単位の一致率 [%] および標準誤差
モデル

入力 F0

ビート単位

提案法

正解

72.4 ± 1.7 28.1 ± 2.1

推定
リズムのみ考慮

正解

考慮しない

推定

多数決法

正解

67.7 ± 1.3

29.1 ± 1.8

図 6: 提案法と調とリズムのどちらも考慮しない手法を用いて26.3 ± 2.1
10.6 ± 1.2

67.2 ± 1.5

9.8 ± 1.2

54.1 ± 1.5

20.1 ± 1.4

12.9 ± 1.1

61.0 ± 1.4

音符の個数に対して，音高，開始位置，終了位置の 3 つ全てが正しく推定された音符の個数の割合とする．正解楽譜の中の隣

22.0 ± 1.5

68.0 ± 1.2

推定

正解の歌声 F0 軌跡から推定された楽譜の例．

13.8 ± 1.1

64.6 ± 1.2

推定

HMM [20]

65.6 ± 1.2

推定
調・リズムを

30.7 ± 1.8

67.8 ± 1.6

正解



68.7 ± 1.3
71.5 ± 1.6

正解
推定

調のみ考慮

音符単位

接する音符が，同じ音高であるかタイで結ばれている場合，そ14.8 ± 1.3

れらの音符をまとめて 1 つの音符とみなした．従来法 [20] では 16 分音符ごとに音高を出力するので，連続する同じ音高の並びを 1 つの音符とみなした．

するために比較実験を行った．

4. 1 実 験 条 件

4. 2 実 験 結 果

RWC 研究用音楽データベース [21] のポピュラー音楽 100 曲

実験結果を表 1 に示した．提案法は両評価尺度において，多のうち，提案法が扱えない 32 分音符，3 連符，ハモリパート

数決法や従来法よりも音符推定精度が上回っていた．提案法になどを含む曲を除いた 63 曲を用いた．入力の歌声 F0 軌跡 X

関する４通りの実験から得られたビート単位の一致率を比較すはアノテーションデータ [22] と [2] で提案されている手法よっ

ると，楽譜モデルによって音符推定の性能が向上することを確て推定されたものを用いた．アノテーションデータには無声区

かめた．特に，調の遷移確率 (調の制約) よりも音符の開始時間が含まれるが推定データには含まれない．ビート時刻とビー

刻の遷移確率 (リズムの制約) の方がより有効であることが分

トの小節内における相対位置 Y はアノテーションデータからかった．ビート単位の一致率では，提案法 (68.7%) と従来法得た．

(68.0%) で大きな差は見られなかったが，音符単位の一致率でベイズ推定とビタビ復号は各曲独立に行われる．音符の開始

は，提案法が (30.7%) が従来法 (14.8%) を大きく上回った．

位置の遷移確率はロック音楽のコーパス [23] から事前に学習し推定された楽譜の例を図 6 に示す．一部の音符が結合され, aζr =1, aρ = aη = aλ0たことを除いて，提案法により推定された楽譜がほぼ正確であ= aλ1 = γ =1, とした．ここで， と 1 はそれぞれすべての要

ることがわかる．隣接する同じ音高の音符を正しく推定するに

ψ̂素が 1 の行列とベクトルである．aϕ̂ŝ と aŝdeg(p;s) は，調 ŝ のダは歌声 F0 軌跡だけでは限界があり，元の歌声や音楽音響信号π

た．ハイパーパラメータは a=1, aξs =イアトニックスケール内のピッチクラスに対応する要素を 10，を参照する必要がある．一方で，楽譜モデルを考慮せずに推定

それ以外の要素を 1 に設定した．ビタビアルゴリズムの重みされた楽譜には多くの推定誤りが含まれていた．この結果からパラメータは経験的に w = w = 29.4, w = 2.4, w = 2.9,

も，音符推定において楽譜モデルを音楽的制約として用いるこwζ = 48.5, we = 3.8 とした．音楽的に一貫性のある音符系列との有効性が示せた．

ϕ

ψ

ρ

η

を得るために，F0 モデル関する重みパラメータよりも楽譜モ

5. お わ り にデルに関する重みパラメータの値を大きくした．
比較ために，多数決法と HMM に基づく従来法 [20] について

本稿では歌声 F0 軌跡から音符系列を推定する統計的手法をも実験した．従来法 [20] については，無声区間を含む歌声 F0

示した．提案法は調から楽譜が生成される過程を表す楽譜モデ

軌跡を入力として扱えないため，無音区間を含まない推定デールと楽譜から時間・周波数方向の逸脱を伴って歌声 F0 軌跡がタについてのみ実験した．言語モデルの有効性を評価するため生成される過程を表す F0 モデルを統合した階層隠れセミマルに，提案法に関しても，1) 調とリズムのどちらも考慮しない手

コフモデル (HHSMM) に基づいており，音楽的に一貫性のあ法，2) 調のみを考慮した手法，3) リズムのみを考慮した手法，

る音符系列を出力できることを確かめた．

4) 調とリズムの両方を考慮した手法，の４通りの実験を行っ

本研究の今後の方向として最も興味深いのは，音楽音響信号

た．提案法における学習を高速化するため，音符の音高の探索に対する歌声 F0 推定において歌声 F0 軌跡の音楽的に有意な事範囲を多数決法によって推定された音高の周囲に限定した．

前分布として提案したモデルを用いることである．本稿で提案

各手法の性能を評価するため，正解の音符系列と推定されたした楽譜から F0 軌跡を生成するモデルを「言語」モデルとし，音符系列を比較して，ビート単位の一致率と音符単位の一致率

歌声 F0 軌跡からスペクトログラムを出力する音響モデルと階を計算した．ビート単位の一致率は正解の楽譜内の音符が存在

層ベイズの枠組みで統合する予定である．これにより音楽音響するビート区間の個数に対して，正しく音高が推定されたビー信号から歌声 F0 軌跡と楽譜を同時に学習することが可能にな

ト区間の個数の割合とする．音符単位の一致率は正解楽譜内のる．また，提案法では事前に推定した歌声 F0 軌跡とビート時- 152 -

—6—

刻を入力として与えているが，入力の推定精度が音符推定精度に影響を与える問題を克服するためにも歌声 F0 軌跡とビート
時刻の同時推定法について検討すべきである．

[16]

謝辞：本研究の一部は，JSPS 科研費 26700020, 16H01744, 16J05486
および JST ACCEL No. JPMJAC1602 の支援を受けた．

文

[17]

献

[1] D.J. Hermes, “Measurement of pitch by subharmonic summation,” The journal of the acoustical society of America,
vol.83, no.1, pp.257–264, 1988.
[2] Y. Ikemiya, K. Yoshii, and K. Itoyama, “Singing voice analysis and editing based on mutually dependent F0 estimationand source separation,” 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP
2015), pp.574–578, 2015.
[3] J.-L. Durrieu, G. Richard, B. David, and C. Févotte,“Source/ﬁlter model for unsupervised main melody extraction from polyphonic audio signals,” IEEE Transactions
on Audio, Speech, and Language Processing, vol.18, no.3,
pp.564–575, 2010.
[4] A. deCheveigné and H. Kawahara, “YIN, a fundamental frequency estimator for speech and music,” The Journal of the
Acoustical Society of America, vol.111, no.4, pp.1917–1930,
2002.
[5] M. Mauch and S. Dixon, “pYIN: A fundamental frequency
estimator using probabilistic threshold distributions,” 2014
IEEE International Conference on Acoustics, Speech andSignal Processing (ICASSP 2014), pp.659–663, 2014.
[6] Y. Li and D. Wang, “Separation of singing voice from music accompaniment for monaural recordings,” IEEE Transactions on Audio, Speech, and Language Processing, vol.15,
no.4, pp.1475–1487, 2007.
[7] P.-S. Huang, S.D. Chen, P. Smaragdis, and M. HasegawaJohnson, “Singing-voice separation from monaural recordings using robust principal component analysis,” 2012 IEEE
International Conference on Acoustics, Speech and Signal
Processing (ICASSP 2012), pp.57–60, 2012.
[8] Y.E. Kim and B. Whitman, “Singer identiﬁcation in popular
music recordings using voice coding features,” 3rd International Conference on Music Information Retrieval (ISMIR
2002), vol.13, p.17, 2002.
[9] W.-H. Tsai and H.-M. Wang, “Automatic singer recognitionof popular music recordings via estimation and modeling ofsolo vocal signals,” IEEE Transactions on Audio, Speech,
and Language Processing, vol.14, no.1, pp.330–341, 2006.
[10] M. Ryynänen, T. Virtanen, J. Paulus, and A. Klapuri, “Accompaniment separation and karaoke application based on
automatic melody transcription,” 2008 IEEE International
Conference on Multimedia and Expo, pp.1417–1420, 2008.
[11] M. Goto, K. Yoshii, H. Fujihara, M. Mauch, and T. Nakano,“Songle: A web service for active music listening improvedby user contributions.,” Proc. of the 12th International Society for Music Information Retrieval Conference (ISMIR
2011), pp.311–316, 2011.
[12] J. Salamon and E. Gómez, “Melody extraction from polyphonic music signals using pitch contour characteristics,”
IEEE Transactions on Audio, Speech, and Language Processing, vol.20, no.6, pp.1759–1770, 2012.
[13] R.P. Paiva, T. Mendes, and A. Cardoso, “On the detectionof melody notes in polyphonic audio.,” 6th International
Conference on Music Information Retrieval (ISMIR 2005),
pp.175–182, 2005.
[14] C. Raphael, “A graphical model for recognizing sung
melodies.,” 6th International Conference on Music Information Retrieval (ISMIR 2005), pp.658–663, 2005.
[15] A. Laaksonen, “Automatic melody transcription based on

[18]

[19]

[20]

[21]

[22]

[23]

- 153 -

chord transcription.,” Proc. of the 15th International Society for Music Information Retrieval (ISMIR 2014), pp.119–
124, 2014.
M.P. Ryynänen and A.P. Klapuri, “Automatic transcription of melody, bass line, and chords in polyphonic music,”
Computer Music Journal, vol.32, no.3, pp.72–86, 2008.
E. Molina, L.J. Tardón, A.M. Barbancho, and I. Barbancho, “Sipth: Singing transcription based on hysteresis deﬁned on the pitch-time curve,” IEEE/ACM Transactions on
Audio, Speech and Language Processing (TASLP), vol.23,
no.2, pp.252–263, 2015.
L. Yang, A. Maezawa, J.B.L. Smith, and E. Chew, “Probabilistic transcription of sung melody using a pitch dynamic
model,” 2017 IEEE International Conference on Acoustics,
Speech and Signal Processing (ICASSP 2017), pp.301–305,
2017.
M. Mauch, C. Cannam, R. Bittner, G. Fazekas, J. Salamon, J. Dai, J. Bello, and S. Dixon, “Computer-aided
melody note transcription using the Tony software: Accuracy and eﬃciency,” Proc. of the 1st International Conference on Technologies for Music Notation and Representation(TENOR 2015), pp.23–30, 2015.
R. Nishikimi, E. Nakamura, K. Itoyama, and K. Yoshii,“Musical note estimation for f0 trajectories of singing voices
based on a bayesian semi-beat-synchronous hmm,” Proc. of
the 17th International Society for Music Information Retrieval Conference (ISMIR 2016), pp.461–467, 2016.
M. Goto, H. Hashiguchi, T. Nishimura, and R. Oka,“RWC music database: Popular, classical and jazz music
databases,” The 3rd International Conference on Music Information Retrieval (ISMIR 2002), pp.287–288, 2002.
M. Goto, “Aist annotation for the RWC music database.,”The 7th International Conference on Music Information Retrieval (ISMIR 2006), pp.359–360, 2006.
T. De Clercq and D. Temperley, “A corpus analysis of rockharmony,” Popular Music, vol.30, no.01, pp.47–70, 2011.

—7—