信学技報
TECHNICAL REPORT OF IEICE.

社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS[ポスター講演] 歌声 F0 軌跡に対する自動採譜のための
準ビート同期セグメンタル HMM
錦見

亮†

中村

栄太†

糸山 克寿†

吉井和佳†† 京都大学 大学院情報学研究科
E-mail: †{nishikimi,enakamura,itoyama,yoshii}@sap.ist.i.kyoto-u.ac.jp
あらまし

本稿では連続的な歌声 F0 軌跡から離散的な音符系列を推定する統計的手法を示す．従来，音楽音響信号からフレームレベルの歌声 F0 を推定するための研究が多く行われているので，我々は記号的な楽譜の獲得を目的とした F0 軌跡からの音符推定に取り組む．音符推定に対する素朴なアプローチは，一定時間単位（例えば，半ビート）
ごとに歌声 F0 を半音レベルで離散化する手法である．しかしながら，このアプローチでは歌声 F0 軌跡が楽譜に記された音高から大きく逸脱している場合にうまくいかない．音符のオンセットはビート時刻から遅れたり進んだりする（オンセット変動）うえ，歌声 F0 は歌唱表現により変動する（周波数変動）．これらの逸脱を扱うために，我々は音符がビート時刻にゆるく同期して変化するベイジアン隠れマルコフモデルを提案する．音符の半音レベルの音高とオンセット変動は潜在変数とみなし，周波数変動は出力分布によって記述する．音符，オンセット変動，周波数変動はギ
ブスサンプリングを用いて同時に推定する．実験結果よりベースライン手法に対して提案手法の音符推定精度が向上
したことが示せた．
キーワード

歌声, 自動採譜, セグメンタル隠れマルコフモデル
Խ߶

歌声は通常ポピュラー音楽のメロディラインを形成しており，

Ϫχχ楽情報処理の分野において重要なテーマの一つである．歌声解
や歌声分離 [8, 9] は広く研究されている．これらの技術は歌手
ユーザーが特定の音楽的要素に焦点を当てながら，より深く音られている．

बഀ਼รಊ͗෉Յ

࣎ࠃ

Ϫ
χ
χ

Խ߶
Ϫ
χ
χ
ʞ

本研究では，歌声 F0 軌跡から音符系列を取り出すことを目的

࣎ࠃʞ

楽を理解することを助ける音楽鑑賞システム [14] などに用いΨϱιρφรಊ͗෉Յ

ʞ

同定 [10, 11] や歌声抑圧に基づくカラオケシステム [12, 13]，Խ߶ʞ析において，音楽音響信号に対する基本周波数（F0）推定 [1–7]ʞ

楽曲の雰囲気や印象に大きな影響を与えるため，歌声解析は音

ֺො੔෾

ʞ

1. は じ め に࣎ࠃとした音符推定問題に取り組む．歌声の F0 推定に関する研究は多く行われているが，実用面では楽譜のような離散的（記号図 1: 歌声 F0 軌跡の生成過程．

的）な情報を抽出する問題に取り組む必要がある．もし，ビー
ト情報が既知であれば，この問題に対する素朴なアプローチは
一定時間単位（例えば，半ビート）ごとに多数決によって半音レベルの F0 に離散化する方法である [14]．しかしながら，歌
声の F0 が楽譜に記された正確な半音レベルの F0 から大きく逸脱する場合や，音符のオンセットが正確なビート時刻から大きく進んだり遅れたりするような歌い方での場合に，この方法
ではしばしばうまくいかない．
この問題を解決するために，隠れた音符系列からどのように歌声 F0 軌跡が生成されるかを表現する隠れマルコフモデル（HMM）に基づく統計的手法を提案する (図 1)．楽譜に記さ

歌声 F0 軌跡は連続的な信号であり，時間とともに動的に変化する．生成的な視点からこれら 2 種類の F0 を扱うために，メ
ロディを歌った連続的な F0 が楽譜に書かれた離散的な F0 から時間方向と周波数方向に逸脱することを許した，準ビート
同期セグメンタル HMM（Semi-beat-synchronous Segmantal

HMM，SBS-SHMM）を提案する．提案する HMM において，音符の半音レベルの F0 とオンセット変動は潜在変数として表現され，音符の周波数変動は出力確率分布によってモデル化される．F0 軌跡とビート時刻が与えられれば，全ての変数と分布はギブスサンプリングを用いて同時に推定される．

れた音符の F0 は半音間隔の離散的な値のみを取り，ビート，
半ビート，1/4 ビートの位置で変わりやすい．一方で，実際の—1—ԽֺԽ‫ڻ‬৶ߺ

2. 関 連 研 究
本章では歌声に関する関連研究を紹介する．

2. 1 歌声音高推定Ր੢)ٌ੽ਬఈ

ϑʖφφϧρΫϱή

音楽音響信号に対する歌声 F0 軌跡の推定に関しては多くの研>,NHPL\D@>6'XUDQG@究がなされている [1–7]．Subharmonic Summation（SHS）[1]ϑʖφ࣎ࠃՐ੢)ٌ੽

は基本周波数の候補 {f0 , . . . , fM } のそれぞれについて高調波成分のパワーの総和を計算することで，各時刻ごとの基本周波Խෘਬఈ数を決定する方法である．PreFEst [3] は多声音楽音響信号かʤ఑Ҍघ๑ʥ

ら最も優性な調波構造を抽出することによりメロディとベースԽ߶‫ܧ‬྽

ラインの F0 軌跡を推定する手法である．池宮ら [2] は歌声分
離と F0 推定を相補的に行う手法を提案している．まず，音楽
音響信号に対する短時間フーリエ変換（STFT）によって得られたスペクトログラムからロバスト主成分分析（RPCA）[9] を用いて歌声が分離される．そして，分離した歌声に対して計算

図 2: 提案する準ビート同期セグメンタル HMM に基づく音高推定手法の全体図．

される SHS を用いてビタビ探索により歌声 F0 軌跡を求める．

Salamon ら [4] はメロディ抽出に対して歌声 F0 軌跡の特徴をれる二次系線形システムの出力として表される．ノート指令と用いている．Durrieu ら [5] は，主旋律はソースフィルターモ

表現指令はそれぞれ音符系列と音楽的表現意図を表し，HMM

デルで表現され，伴奏音は非負値行列因子分解（NMF）に基を用いてモデル化される．この手法により歌声 F0 軌跡から歌づくモデルで表現されるメロディ抽出法を提案している．de

唱表現の個人性を取り出すことは可能だが，事前に楽譜が与え

Cheveignéら [6] は基本周波数推定に対して誤り率を減少させらることを仮定しており，直接的に音符推定問題には適用でき

るよう拡張した自己相関に基づく YIN と呼ばれる手法を提案ない．

している．Mauch ら [7] は確率的手法を用いて YIN を拡張す

3. 提 案 法ることで複数の音高候補を出力するようにした pYIN と呼ばれる手法を提案している．

本章では準ビート同期セグメンタル HMM（SBS-SHMM）に

2. 2 歌声音符推定より歌声 F0 軌跡の生成過程を表現することで，F0 軌跡の背後

歌声 F0 軌跡の音高を離散化して音符系列を推定する手法もにある音符系列を推定するための手法について説明する．観測

提案されている．1. 章で述べた多数決法は Songle [14] に実装として得られる歌声 F0 軌跡は，楽譜（音符系列）にオンセッされている．この手法では，歌唱表現や音高の生成過程につい

ト変動と周波数変動が確率的に付与されて生成されるものとして考慮していないので限界がある．Paiva ら [15] は 5 つの段て定式化する．

階を経て多声音楽信号からメロディの音符を推定する手法を提3. 1 問 題 設 定

案している．Raphael [16] は HMM に基づいて独唱歌声音響

音符推定問題を以下のように定める（図 2）．

信号からリズム，テンポ，音符を同時に推定する手法を提案している．Poliner ら [17] は，音高はある基本周波数の高調波の集合として実現されるという仮定が必要がないサポートベク
ターマシン（SVM）に基づく手法を提案している．Laaksonen

入力: 歌声 F0 軌跡 X = {xt }T
t=1 と音楽音響信号から自動推定された 16 分音符単位のビート時刻 ψ = {ψn }Nn=1
出力: 音高系列 Z = {zn }Nn=1 .

は [18] コード情報を用いてメロディ採譜手法を提案している．

ここで t は時間フレームのインデックス，T は入力の F0 軌跡

Ryynänen ら [19] はメロディ，ベースライン，コードを多声音における時間フレームの数，xt はフレーム t での対数周波数楽から推定する手法を提案している．Mauch ら [20] によって（単位はセント），N はビート時刻の数，ψn は n 番目のビート開発された Tony というソフトウェアツールは HMM のビタビ

時刻（単位はフレーム），zn ∈ {µ1 , . . . , µK } は ψn−1 と ψn と探索によって pYIN が出力した複数の音高候補の中から音符をの間の音高であり，K は楽譜に現れる音高の種類の数である．

推定する．

曲の最初と最後はそれぞれ ψ0 = 1 と ψN = T +1 で表される．

2. 3 歌声 F0 軌跡の解析

本稿では，簡単化のため zn (n = 1, . . . , N ) はそれぞれ 16 分音歌声 F0 軌跡から歌い方の個性や癖を抽出する研究もおこな符に対応するとする．16 分音符よりも長い音符は連続した同じわれている．大石ら [21] は時間変動と周波数変動を考慮した音高をもつ {zn }N
n=1 の系列で表される．

歌声 F0 軌跡の生成過程を表現するモデルを提案した．このモ

3. 2 モデルの定式化

デルにおいて，歌声 F0 軌跡はノート，表現，微細変動の 3 つ

音符の音高遷移，オンセット変動，周波数変動を同時に表現の成分から成る．ノート成分はノートの立ち上がりやオーバー

する SBS-SHMM を定式化する．

シュートを含み表現成分はビブラートやポルタメントを含む．

3. 2. 1 音高遷移のモデル化

ノート成分と表現成分はノート指令と表現指令によって駆動さ

潜在音高系列 Z は以下に示すように一次マルコフ連鎖を

—2—

なす．

3. 3 事前分布の導入
zn |zn−1 , A ∼ Categorical(zn |azn−1 )我々はモデルパラメータ A，π ，ρ に対して以下のようにディ(1)リクレ共役事前分布をおく．

T
ここで，A = [aT
1 , · · · , aK ] は K × K の遷移確率行列であり，K
任意の j ∈ {1, . . . , K} について k=1 ajk = 1 が成り立つ．最∑初の潜在状態 z1 は

z1 |π ∼ Categorical(z1 |π)aj ∼ Dirichlet(aj |ξj )(7)

π ∼ Dirichlet(π|ζ)(8)ρ ∼ Dirichlet(ρ|η)

(9)

(2)
ここで，ξj = [ξj1 , . . . , ξjK ]T と ζ = [ζ1 , . . . , ζK ]T は K 次元ベにより決定される．ここで，π = [π1 , · · · , πK ] は K 次元ベク

クトル，η = [η−G , . . . , ηG ]T は (2G + 1) 次元ベクトルである．

πk = 1 が成り立つ．

また，コーシー分布の非負パラメータ c と d に対して以下のT∑K

トルであり，

k=1

3. 2. 2 オンセット変動のモデル化

ようにガンマ事前分布をおく．

音符のオンセット変動 τ = {τn }Nn=1 は {−G, −G+1,. . ., G−1, G} の整数値を取る離散潜在変数として表される．nc ∼ Gamma(c|c0 , c1 )(10)

番目の音符に対応する歌声のオンセット時刻を ϕn = ψn + τnd ∼ Gamma(d|d0 , d1 )(11)とおく．歌声 F0 軌跡の最初と最後では τ0 = 0，τN = 0 とす
る．τn は以下のように確率的に生成される．

τn |ρ ∼ Categorical(τn |ρ)

である．

(3)

ここで，ρ = [ρ−G , . . . , ρG ]T は (2G + 1) 次元ベクトルであり，

∑G

g=−G

ρg = 1 が成り立つ．

観測 F0 xt (ϕn−1 ≦ t < ϕn ) は各ビート区間に割り当てられた半音単位の音高に確率的な周波数変動を付与することで生成される．xt は各フレームにおいて独立に生成されるとし，n 番
目のビート区間の出力確率は，以下のように与えられる．

bzn τn−1 τn ≡t=ϕp(xt |zn )n−1

3. 4 ベイズ推定
ベイズ推定の目的は事後分布 p(Z, τ , A, π, ρ, c, d|X) を計算することである．この計算を解析的に行うのは難しいので，
我々はマルコフ連鎖モンテカルロ（MCMC）法を用いてこれ

3. 2. 3 周波数変動のモデル化


n −1
 ϕ∏

ここで，c0 ，d0 は形状パラメータ，c1 ，d1 はレートパラメータ1
 ϕn −ϕn−1


らの変数の値をサンプリングする．ここで，モデルパラメータを Θ = {A, π, ρ} とする．Θ のサンプルにはギブスサンプリ
ングアルゴリズムを用いる．また，潜在変数系列 Z ，τ のサン
プルにはブロック化ギブスサンプリングアルゴリズムの一つである，フォワードフィルタリング・バックワードサンプリング
アルゴリズムを用いる．これらのパラメータや変数は，HMM(4)の教師なし学習で用いられるバウム・ヴェルチアルゴリズムとよばれる期待値最大化法（EM アルゴリズム）と同様の方法でここで，p(xt |zn ) は各フレームにおける出力確率である．遷移

反復更新される．c と d に関する分布は共役性が満たされない

確率と出力確率のバランスを取るため，各フレームごとの出力ので，メトロポリス・ヘイスティングス（MH）アルゴリズム

確率の積をビート区間内のフレーム数で冪根をとる．我々はを用いて更新する．

p(xt |zn ) にコーシー分布を用いる．コーシー分布は外れ値に頑健であり，以下のように

3. 4. 1 潜在変数 Z ，τ の推論
潜在変数系列 Z と τ をサンプルする方法を説明する．各ビー
ト区間ごとに，以下で与えられる確率を計算する．

Cauchy(x; µ, λ) =λπ {(x − µ)2 + λ2 }(5)βzn τn = p(zn , τn |zn+1:N , τn+1:N , x1:T )で定義される．ここで，µ は位置パラメータであり，分布の中央値を決定する．また，λ は尺度パラメータである．n 番目のビート区間の音高が zn = k である時，µ は値 µk を取る．尺度
パラメータは音高 zn に依存しない値を取る．
実際の歌声 F0 軌跡は楽譜に記された音高から大きく逸脱す
ることがあるので，コーシー分布の尺度パラメータは隣接する

F0 の差 ∆xt ≡ xt − xt−1 に応じて変化するようにする．尺度
パラメータは ∆xt の絶対値に比例するようにし，各フレームごとに以下のように定義する．

λt = c|∆xt | + d(12)

こ こ で ，zn+1:N ，τn+1:N ，x1:T は そ れ ぞ れ zn+1 , . . . , zN ，τn+1 , . . . , τN ，x1 , . . . , xT を表す．n 番目のビート区間の潜在変数 (zn , τn ) は βzn τn に従いサンプルされる．式 (12) の計
算と潜在変数のサンプリングはフォワードフィルタリング・
バックワードサンプリングを用いて行われる．
フォワードフィルタリングでは以下の確率を反復計算で求める．

αzn τn = p(X0τ1 , . . . , Xτn−2 τn−1 , Xτn−1 τn , zn , τn )(6)

ここで，c は比例係数である．また，∆xt = 0 のとき p(xt |zn )が計算できなくなる問題を避けるために変数 d > 0 を導入する．

ここで，Xτn−1 τn は ϕn−1 = ψn−1 + τn−1 から ϕn = ψn + τnまでのビート区間内の観測 xt を表す．αzn τn は以下のように計算される．

—3—αzn τn = p(X0τ1 , z1 , τ1 )qd (d|di ) = Gamma(d|δdi , δ)

= p(X0τ1 |z1 , τ1 )p(z1 )p(τ1 )ここで，γ と δ は提案分布のハイパーパラメータである．qc (c|ci )= bz1 0τ1 πz1 ρτ1

(13)

=

からサンプルされた c∗ を用いて，以下のように採択率を計算する．

αzn τn = p(X0τ1 , . . . , Xτn−1 τn , zn , τn )G∑{

fc (c∗ )qc (ci |c∗ )1,
fc (ci )qc (c∗ |ci )∗p(Xτn−1 τn |zn , τn−1 , τn )gc (c , ci ) = minτn−1 =−G

·

K
∑

}
(22)

ここで，fc (c) は以下のように計算される尤度関数である．

p(X0τ1 , . . . , Xτn−2 τn−1 , zn−1 , τn−1 )fc (c) ≡ p(c|x1:T , z1:N , τ1:N , Θ, di )zn−1 =1· p(zn |zn−1 )p(τn )
=

(21)

G
∑

bzn τn−1 τnτn−1 =−GK∑∝

ρτn bzn τn−1 τnn=1

αzn−1 τn−1 azn−1 zn ρτnzn−1 =1

(14)

N
∏

=

N
∏

ρ τn

n=1

バックワードサンプリングでは，n 番目のビート区間におい·て αzn τn の値を用いて式 (12) が計算され，状態 (zn , τn ) が再帰的にサンプルされる．(n+1) 番目の状態 (zn+1 , τn+1 ) がサンN∏

azn−1 zn πz1 q(c)

n=2


n −1
 ϕ∏
t=ϕ

N
∏


1
 ϕn −ϕn−1

Cauchy(xt |µzn , λct )n−1

azn−1 zn πz1 Gamma(c|c0 , c1 )

(23)

n=2

λct = ci · ∆xt + di

プルされた時，βzn τn は以下のように計算される．

(24)

βzn τn ∝ p(Xτn τn+1 |zn+1 , τn , τn+1 )そして，もし gc (c∗ , ci ) の値が区間 [0, 1] における一様分布から· p(zn+1 |zn )p(τn+1 )サンプルされた乱数 r よりも大きければ，ci+1 = c∗ とし，そ· p(X0τ1 , . . . , Xτn−1 τn , zn , τn )うでなければ，ci+1 = ci とする．ただし，c0 は事前分布 q(c)= bzn+1 τn τn+1 azn zn+1 ρτn+1 αzn τnからサンプルされる．

(15)

特に，潜在変数 (zN , τN ) は以下のように αzN τN にしたがってd の値は c と同様の方法で更新される．qd (d|di ) からサンプルされた d∗ を用いて，以下のように採択率を計算する．

{

サンプルされる．
∗

βzN τN ∝ αzN τN

gd (d , di ) = min(16)

本章では Θ の値の学習について説明する．バックワードサン
プリングにおいてサンプルされた潜在変数の系列 {zn , τn }Nn=1について，zn = j かつ zn+1 = k である遷移の数を sjk ，τn = g(25)

fd (d) ≡ p(d|x1:T , z1:N , τ1:N , Θ, ci+1 )∝N∏であるオンセット変動の数を ug で表す．また，z1 = k の時，

n=1

vk の値を 1，それ以外を 0 とする．パラメータ ajk ，ρg ，πk はN∏以下で与えられる事後分布からサンプルされることで更新さ=ρτn bzn τn−1 τn

ρ τn

n=1

れる．

(17)

p(ρ|η + u) = Dirichlet(ρ|η + u)(18)p(π|ζ + v) = Dirichlet(π|ζ + v)

(19)

こ こ で ，sj = [sj1 , . . . , sjK ]T ，u = [u−G , . . . , uG ]T ，v =[v1 , . . . , vK ]T である．

·

N
∏


n −1
 ϕ∏
t=ϕ

N
∏

azn−1 zn πz1 q(d)n=2Cauchy(xt |µzn , λdt )n−1

azn−1 zn πz1 Gamma(d|d0 , d1 )

1
 ϕn −ϕn−1

(26)

n=2

λdt = ci+1 · ∆xt + di(27)

そして，もし gd (d∗ , di ) の値が区間 [0, 1] における一様分布か
らサンプルされた乱数 r よりも大きければ，di+1 = d∗ とし，
そうでなければ di+1 = di とする．ただし，d0 は事前分布 q(d)3. 4. 3 コーシー分布のパラメータ c，d の学習パラメータ c と d の推定には，MH アルゴリズムを用いる．
コーシー分布は共役事前分布を持たないので c と d の事後分布を解析的に計算するのは困難である．c と d の値がそれぞれ ciと di であるとき，提案分布を以下のように定める．

qc (c|ci ) = Gamma(c|γci , γ)}

ここで，fd (d) は以下のように計算される尤度関数である．

3. 4. 2 モデルパラメータ A，π ，ρ の学習

p(aj |ξj + sj ) = Dirichlet(aj |ξj + sj )fd (d∗ )qd (di |d∗ )1,
fd (di )qd (d∗ |di )からサンプルされる．

3. 5 ビタビ復号
音符を表す潜在変数系列は学習過程において以下の式 (28)で与えられる尤度が最大の時のパラメータを用いたビタビアル
ゴリズムによって推定される．

(20)
—4—

表 1: 平均一致率と標準誤差

90
80

一致率

SBS-SHMM

66.3 ± 1.0

多数決法

56.9 ± 1.1

50

フレームベース HMM 56.1 ± 1.1

4067.0 ± 1.0

30

BS-HMM

[%]

モデル

70
60

BS-HMM
HMM

p(x1:T ) =

K
∑

G
∑

SBS-HMM()

図 3: 一致率 [%]. 箱ひげ図内で，赤線は中央値，青色の箱は第αzN τN(28)

zN =1 τN =−G

1 四分位から第 3 四分位の範囲，黒色の十字は平均値，赤色の十字は外れ値を示す．

推定したい音符は p(Z, τ |X) を最大化する潜在変数の値である．ビタビアルゴリズムにおいて ωzn τn を以下のように定める．

0.6
0.5

ωzn τn =0.4

max lnp(X0τ1 , . . . , Xτn−1 τn , z1:n−1 , zn , τ1:n−1 , τn ) (29)
z

0.2

0.3

1:n−1

τ1:n−1

0.1
0.0
4

2

0

そして，ωzn τn は以下のように再帰的に計算される．

ωz1 τ1 = ln ρτ1 + ln bz1 0τ1 + ln πz1
ωzn τn =[ln ρτn + max ln bzn τn−1 τn + max ln azn−1 zn +ωzn−1 τn−1
τn−1

]
}

zn−1

(31)
ωzn τn の再帰計算において，(zn , τn )=(k, g) の時の ωzn τn の値を

700
600
500
400
300
200
100
0
15

10

(z)

(τ )

5
(

最大化する状態が (zn−1 , τn−1 )=(j, f ) である場合，これらの状態
は hnk = j, hng = f として記録される．{ωzN τN }K,GzN =1,τN =−G4]

図 4: 学習されたモデルパラメータ ρ の例．

(30)

{

2
[

)-(

0
)[

5

10

]

図 5: 音高推定誤りの例．推定音高が正しい場合は省略．

が計算された後，式 (30) と (31) を用いて，潜在変数系列{zn , τn }Nn=1 が以下のように再帰的に推定される．
(zN , τN ) = arg max{ωzN τN }

提案法のハイパーパラメータは ξ = 1，ζ = 1，η = 1，(32)zn = h(n+1)zn+1

(z)

(33)

(τ )

(34)

τn = h(n+1)τn+1

c0 = d1 = d0 = d1 = 1 とした．ここで，1 と 1 はそれぞれ全要素が 1 である行列とベクトルである．提案分布のパラメータzN ,τN

推定された潜在変数 {τn }Nn=1 によって表されるオンセット変動を補正することにより音符系列が得られる．

4. 評 価 実 験
提案法と従来法を用いて歌声 F0 軌跡から推定された音符列の精度を評価する実験を行った．

は γ = δ = 1 とした．τn が取りうる最大値 G は 5（つまり 50
ミリ秒）とした．
ベースラインとして多数決法をテストした．16 部音符に対応
する時間区間ごとに歌声 F0 の多数決をとることで音高を決定する．比較として，フレームベース HMM とビート同期 HMM（BS-HMM）もテストした．フレームベース HMM は全てのビート区間が 1 フレームのみであるとする．BS-HMM はオン
セット変動を考慮しないこと以外 SBS-SHMM と同じである．
推定された音符列は楽曲のメロディと同期した MIDI データ

4. 1 実 験 条 件と比較し，一致率（つまり，音高が正しく推定されているフレー

実験には RWC データベース [22] 内のポピュラー音楽 100

ムの比率）を評価尺度として用いた．

曲を用いた．それぞれの曲に対して，モデルパラメータの学習，

4. 2 実 験 結 果

音符系列の推定，推定された音符系列の精度の計測を行った．

音符推定の結果を表 1 と図 3 に示した．提案法は平均一致率

入力の F0 軌跡は池宮ら [2] の手法を用いてモノラル音楽音響において多数決法とフレームベース HMM を大きく上回った．

信号から得る．また，ビート時刻は Durand ら [23] のビート

一方で，提案法と BS-HMM の一致率はほぼ等しく，その差はトラッキングシステムによって得られたものを用いる．このシ

統計的に有為なものではなかった．

ステムは全音符単位のビート時刻を推定するので，推定された

この結果は遷移確率による楽譜モデルと出力確率による周波ビート区間を 16 等分することで 16 分音符単位のビート時刻を数変動モデルが音符推定精度の向上に対して有効であることを

求めた．

—5—

を考慮した．SBS-SHMM は多数決法やフレームベース HMM
4000よりも正確な音高推定を実現した．

[cent]

3800

提案法を用いて得られたオンセット変動と周波数変動は歌唱

3600
3400

表現の特徴を捉えるうえで重要である．今後は，2 次系伝達関3200

数などを用いて歌声 F0 軌跡を詳細にモデル化し，歌唱表現を種類ごとに抽出する手法の開発を行いたい．提案法では，F0 推

3000
0

50

100

150

200

250
[msec]

300

350

400

450

(a) オンセット変動

定，ビートトラッキング，音符推定は別々に行われたが，これらの手法を統合することも必要である．また，実際の楽曲に存在する無声部分を扱うことができなかったが無声部分を適切に扱えるようにしたい．

[cent]

5100
5050

謝辞：本研究の一部は JST OngaCREST プロジェクト，JSPS 科研費
5000

24220006，26700020，26280089，15K16054，16H01744，16J05486
4950と栢森情報科学振興財団助成金による支援を受けて行われた．

4900
0

100

200

300

400
[msec]

500

600

700

(b) 周波数変動

図 6: 音高推定結果の例．桃色，青色，緑色，赤色，黒色の線はそれぞれ MIDI ノート，オンセット変動を含む F0 軌跡，多数決法によって推定された音高，提案法によって推定された音
高，事前に推定されたビート時刻を表す．

示している．オンセット変動のモデルにより精度が向上しなかったのは，モデルパラメータ ρ が正しく学習されなかったことが原因だと考えられる（図 4）．オンセット変動はオンセッ
トの両側の音高の長さや曲全体のテンポに依存するので，単一の離散分布でオンセット変動を捉えるのは難しい．音高が遷移している間の F0 を表現するための隠れ状態を用いるなどして，より詳細にオンセット変動をモデル化することが必要だろう．

4. 2. 1 音高推定誤り
主に二種類の誤りが観測された（図 5）．一つ目は歌手の歌唱
表現によるものであり，1 半音や 2 半音の誤りとして現れる．
これは周波数変動が音符推定精度に影響することを意味する．
二つ目は F0 推定誤りによるものであり，7 半音や 12 半音誤りとして現れる．7 半音や 12 半音は完全五度や１オクターブに対応する．

4. 2. 2 歌唱表現抽出と頑健性
図 6 の音符推定結果の例は歌手の歌唱表現を提案モデルが捉える様子を示している．上の図において，最初のビートでのオンセットはビート時刻より遅れている．提案法ではオンセッ
トの遅れを正しく捉えているのに対し，多数決法はオンセットとすべきビート時刻を誤認識している．下の図はビブラートの例である．多数決法では推定結果が大きな周波数変動に影響されている．一方，提案法ではコーシー分布の頑健性によりビブ
ラートに影響されることなく正しく音高が推定できている．

5. お わ り に
本稿では，ビート時刻を既知として歌声 F0 軌跡から楽曲の音符推定を行う手法を提案した．歌声 F0 軌跡の生成過程をモデル化するに際し，楽譜成分だけでなくオンセット・周波数変動

文

献[1] D.J. Hermes, “Measurement of pitch by subharmonic summation,” The journal of the acoustical society of America,
vol.83, no.1, pp.257–264, 1988.
[2] Y. Ikemiya, K. Yoshii, and K. Itoyama, “Singing voice analysis and editing based on mutually dependent F0 estimationand source separation,” 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP),
pp.574–578, 2015.
[3] M. Goto, “A real-time music-scene-description system:
Predominant-F0 estimation for detecting melody and basslines in real-world audio signals,” Speech Communication,
vol.43, no.4, pp.311–329, 2004.
[4] J. Salamon and E. Gómez, “Melody extraction from polyphonic music signals using pitch contour characteristics,”
IEEE Transactions on Audio, Speech, and Language Processing, vol.20, no.6, pp.1759–1770, 2012.
[5] J.-L. Durrieu, G. Richard, B. David, and C. Févotte,“Source/filter model for unsupervised main melody extraction from polyphonic audio signals,” IEEE Transactions
on Audio, Speech, and Language Processing, vol.18, no.3,
pp.564–575, 2010.
[6] A. deCheveigné and H. Kawahara, “YIN, a fundamental frequency estimator for speech and music,” The Journal of the
Acoustical Society of America, vol.111, no.4, pp.1917–1930,
2002.
[7] M. Mauch and S. Dixon, “pYIN: A fundamental frequency
estimator using probabilistic threshold distributions,” 2014
IEEE International Conference on Acoustics, Speech andSignal Processing (ICASSP), pp.659–663, 2014.
[8] Y. Li and D. Wang, “Separation of singing voice from music accompaniment for monaural recordings,” IEEE Transactions on Audio, Speech, and Language Processing, vol.15,
no.4, pp.1475–1487, 2007.
[9] P.-S. Huang, S.D. Chen, P. Smaragdis, and M. HasegawaJohnson, “Singing-voice separation from monaural recordings using robust principal component analysis,” 2012 IEEE
International Conference on Acoustics, Speech and Signal
Processing (ICASSP), pp.57–60, 2012.
[10] Y.E. Kim and B. Whitman, “Singer identification in popular music recordings using voice coding features,” The 3rdInternational Conference on Music Information Retrieval,
pp.164–169, 2002.
[11] W.-H. Tsai and H.-M. Wang, “Automatic singer recognitionof popular music recordings via estimation and modeling ofsolo vocal signals,” IEEE Transactions on Audio, Speech,
and Language Processing, vol.14, no.1, pp.330–341, 2006.
[12] A. Dobashi, Y. Ikemiya, K. Itoyama, and K. Yoshii, “A mu-

—6—

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

sic performance assistance system based on vocal, harmonic,
and percussive source separation and content visualization
for music audio signals,” The 12th Sound and Music Computing Conference (SMC), pp.99–104, 2015.
M. Ryynänen, T. Virtanen, J. Paulus, and A. Klapuri, “Accompaniment separation and karaoke application based on
automatic melody transcription,” 2008 IEEE International
Conference on Multimedia and Expo (ICME), pp.1417–
1420, 2008.
M. Goto, K. Yoshii, H. Fujihara, M. Mauch, and T. Nakano,“Songle: A web service for active music listening improvedby user contributions,” The 12th International Society forMusic Information Retrieval Conference (ISMIR), pp.311–
316, 2011.
R.P. Paiva, T. Mendes, and A. Cardoso, “On the detection of melody notes in polyphonic audio,” The 6th International Conference on Music Information Retrieval (ISMIR),
pp.175–182, 2005.
C. Raphael, “A graphical model for recognizing sung
melodies,” The 6th International Conference on Music Information Retrieval (ISMIR), pp.658–663, 2005.
G.E. Poliner and D.P.W. Ellis, “A classification approach
to melody transcription,” The 6th International Conference
on Music Information Retrieval (ISMIR), pp.161–166, 2005.
A. Laaksonen, “Automatic melody transcription based on
chord transcription,” The 15th International Society forMusic Information Retrieval Conference (ISMIR), pp.119–
124, 2014.
M.P. Ryynänen and A.P. Klapuri, “Automatic transcription of melody, bass line, and chords in polyphonic music,”
Computer Music Journal, vol.32, no.3, pp.72–86, 2008.
M. Mauch, C. Cannam, R. Bittner, G. Fazekas, J. Salamon, J. Dai, J. Bello, and S. Dixon, “Computer-aided
melody note transcription using the Tony software: Accuracy and eﬃciency,” The First International Conference
on Technologies for Music Notation and Representation(TENOR), pp.23–30, Institut de Recherche en Musicologie,
Paris, France, 2015.
Y. Ohishi, H. Kameoka, D. Mochihashi, and K. Kashino, “A
stochastic model of singing voice F0 contours for characterizing expressive dynamic components,” The 13th Annual
Conference of the International Speech Communication Association (INTERSPEECH), pp.474–477, 2012.
M. Goto, H. Hashiguchi, T. Nishimura, and R. Oka,“RWC music database: Popular, classical and jazz music
databases,” The 3rd International Conference on Music Information Retrieval (ISMIR), vol.2, pp.287–288, 2002.
S. Durand, J.P. Bello, B. David, and G. Richard, “Downbeat
tracking with multiple features and deep neural networks,”
2015 IEEE International Conference on Acoustics, Speechand Signal Processing (ICASSP), pp.409–413, 2015.

—7—