情報処理学会 インタラクション 2015
IPSJ Interaction 2015

15INT015
2015/3/7

市販楽曲中の歌声の分離と音高推定に基づく
歌唱表現編集システム
池宮 由楽1,a)

糸山 克寿1,b)

吉井 和佳1,c)

概要：本稿では，市販 CD のような音楽音響信号に含まれる歌声に対して，伴奏音に影響を与えることなく歌唱表現（ビブラート・グリッサンド・こぶしなど）の編集を行うためのシステムについて述べる．近年，既存楽曲をユーザが自分好みに編集・加工することを可能にする能動的音楽鑑賞システムの研究が盛んである．なかでも，混合音中の歌声の編集は最も実現が難しい課題の一つであり，既存の歌声の声質を他の歌唱者の声質に直接変換する技術は提案されているが，歌声がもつ特徴的な音高軌跡，すなわち歌唱表現を編集する技術は実現されていなかった．我々は，歌声・伴奏音の分離と歌声の音高推定の相互依存性に着目し，独立に利用されていた Robust PCA と Subharmonic Summation を相補的に組み合わせることで，両タスクの精度を改善する手法を提案する（国際的な音楽認識コンテスト MIREX2014 の歌声分離ト
ラックで世界最高性能を達成）．この技術を応用し，既存楽曲に含まれる歌声の任意の箇所に対して，任意の歌唱表現を付与するための GUI を実現した．実験により，提案システムの優れた歌声解析精度を定量評
価し，実際に GUI を用いて市販楽曲を高品質かつインタラクティブに編集可能であることを確認した．

A Vocal Expression Editing System based on Singing Voice
Separation and F0 Estimation for Music Recordings
Ikemiya Yukara1,a)Itoyama Katsutoshi1,b)

Yoshii Kazuyoshi1,c)Abstract: This paper presents a novel system that enables users to edit vocal expressions of singing voices(e.g., vibrato, glissando, and kobushi) included in real-world music recordings while preserving the original
accompanying sounds. Active music listening has recently gained a lot of attention for providing users witha way of modifing existing music signals as they like. In particular, editing accompanied singing voices is
one of the most challenging problems. Although a promising method was proposed for directly converting
the timbres of existing singing voices into those of another singer’s voice, it had been infeasible to edit thecharacteristic patterns of singing F0 contours. In this paper we propose a method that significantly improves
singing voice separation based on robust PCA (RPCA) and vocal F0 estimation based on subharmonic summation (SHS) by using the mutual dependency between these tasks (the proposed method took first placein the singing voice separation track of an international music recognition contest called MIREX 2014). We
developed a GUI for adding arbitrary kinds of vocal expressions to users’ specified regions of existing singing
voices included in commercial CD recordings.

1. はじめにど簡単な処理に限定されていた．昨今の音楽音響信号処理技術の発展は著しく，音楽的な専門知識を持たないユーザ

近年，一般ユーザの音楽鑑賞体験をより豊かにするため，であっても，楽曲の音楽内容を反映したインタラクティブ

能動的音楽鑑賞インタフェース [1] の研究が盛んである．

な音楽鑑賞を楽しむことが可能になってきている．特に，従来の音楽鑑賞は，市販 CD や MP3 などのオーディオメ

既存音楽音響信号の編集・加工に関する研究は，単純な音ディアを再生するだけの受動的な体験であり，音楽に対す

楽鑑賞支援にとどまらず，一種の創作支援と見ることもる能動的な振る舞いとしては，自分好みのプレイリストをできる．例えば，ドラムパートの音量や音色，パターンを作成したり，イコライザを用いて周波数特性を調整するな

MIDI ファイルを扱うかのごとく編集する [2]，楽器パート

1の音量バランスを個別に調整する [3, 4]，あるいは歌声と伴

a)
b)
c)

京都大学大学院情報学研究科
Graduate School of Informatics, Kyoto University
ikemiya@kuis.kyoto-u.ac.jp
itoyama@kuis.kyoto-u.ac.jp
yoshii@kuis.kyoto-u.ac.jp© 2015 Information Processing Society of Japan

奏を分離するといったことが可能である [5]．
我々は，歌声を編集・加工することができる能動的音楽鑑賞インタフェースを開発している．ポピュラー楽曲では128

主旋律が歌声によって奏でられる場合が多く，歌声を操作ԽֺԽ‫ڻ‬৶ߺすることができれば，楽曲の印象を大きく変化させながら࣎ؔबഀ਼մੵ

音楽鑑賞を楽しむことができる．このとき，音の三要素でฦॄ઴͹ηϘέφϫήϧϞ

ある音高・音量・音色に分けて歌唱者の個性を表現することが重要である [6]．例えば，音声分析合成システムである

TANDEM-STRAIGHT [7] は，単独歌唱を F0（音高）とスペクトル包絡（音色），非周期性指標の三つのパラメータへ分解し，それらを独立に操作して高品質な音声を再合成

ηϘέφϩ෾཯

Ր੢ηϘέφϩ

൒૙ηϘέφϩ

ηϘέφϩร‫ܙ‬Խ߶Խྖ૤ࡠ

ηϘέφϩՅࢋ

することができる．大石ら [8] は，歌声の F0 軌跡を不連Ր঑ฦॄεητϞ

ฦॄ‫ޛ‬͹ηϘέφϫήϧϞ

続な楽譜成分と微細な変動成分の重ね合わせとして表現すฦॄͪ͢͏ֺ‫ۄ‬

る確率モデルを用いて，任意の楽譜から歌声の F0 軌跡を生成する手法を提案している．同様のモデルは，歌声の音࣎ؔ৶ߺ΃‫ٱ‬ร‫׷‬

量軌跡に対しても適用することができる [9]．ただし，こՐ੢͗ฦॄ͠ΗͪԽֺԽ‫ڻ‬৶ߺ

れらの研究は無伴奏の歌声を対象としていた．一方，藤原ら [10] は，混合音を伴奏と歌声の重ね合わせとして表現す

図 1

音楽音響信号中の歌声の歌唱表現編集システム

る確率モデルを用いて，歌声信号を明示的に分離することることができる究極の歌声編集システムを開発するうえでなく，混合音中の歌声の声質変換を実現している．

重要な一歩である．これが実現できれば，異なる楽曲間で本稿では，市販 CD のように複雑な音楽音響信号を対象

歌唱者を入れ替えて歌わせるなどの新しい音楽鑑賞が可能とし，伴奏つきの歌声に含まれる歌唱表現を GUI 上で自になる．すでに故人となった歌手であっても，歌声の三要

由に編集することができるシステムを提案する（図 1）．こ

素を任意の楽曲中の歌声に一挙に転写することで，あたか

こで，歌唱表現とはビブラートやグリッサンド，こぶしなもその歌手が歌っているかのような楽曲を制作できる．まどの F0 の特徴的な局所変動のことを意味する．GUI 上にた，提案手法で分離された伴奏音の品質は，カラオケ音源

は自動推定された歌声の F0 軌跡が表示されており，ユーとして十分利用可能な水準に到達したことを記しておく*1 ．

ザはロングトーン部など任意の範囲を指定し，事前に用意した歌唱表現（別の歌声から抽出することも可能 [11]）を

2. 歌唱表現編集インタフェース

選択・付与することができる．ただし，F0 の自動推定には

本章では，混合音中に含まれる歌声の歌唱表現をインタ

誤りが含まれることを前提として，ユーザの入力を援用す

ラクティブに編集するための GUI について述べる．図 2

ることで高品質な歌声編集を可能にするインタフェースをに，具体的な編集の流れを示す．

実現した．ユーザはスペクトログラム上で歌声の F0 が含
まれるであろう領域をラフに塗りつぶすだけの簡易な操作

2.1 歌唱表現の選択と付与により，その領域中で歌声の F0 が自動的に再推定される．

本稿では，歌声の音高 (F0) 軌跡に現れる特徴的な局所変人間と機械の協調に基づく音源分離 [12] や音楽解析 [13] は動を歌唱表現と定義し，特に，ポピュラー音楽や演歌など

近年非常に注目されており，本システムはインタフェースによく見られるビブラート・グリッサンド・こぶしの三種を介してユーザと計算機が密接に結びついてる．

類を扱う．ここで，ビブラートはある程度の長さを持つ区

混合音中の歌声に対する編集システムを実現するには，間における F0 軌跡の 5Hz から 8Hz 程度の周期的な振動，高精度な歌声・伴奏音分離と歌声の F0 推定が必要であり，グリッサンドはフレーズ開始での滑らかな音高上昇（グリ我々は両タスクの相互依存性を考慮することで，精度を一スアップ）とフレーズ終端での滑らかな音高下降（グリス

挙に改善することができる手法を提案する．基本的には

ダウン），こぶしは比較的狭い区間における F0 の抑揚（非Robust Principal Component Analysis (RPCA) を用いて常に短いビブラートとみることもできる）を意味する（図スペクトログラム上で歌声・伴奏音分離を行うが [14]，歌3）．実際にはそれぞれの歌唱表現について，音高のみでな

声の F0 情報を用いれば，不要な伴奏音を抑制することがく音量軌跡も変動していることに注意する．

できる．一方，混合音に対して歌声の F0 推定を行うより

各歌唱表現について典型的な F0 軌跡がテンプレートとも，分離した歌声に対して F0 推定を行う方がずっと容易して用意されており，ユーザはそれらのいずれかを選択しである．提案手法は，国際的な音楽認識コンテストであるて，歌声中の任意の箇所へ付与することができる（図 2，

MIREX2014 [15] の歌声分離トラックにおいて，歌声と伴上から四番目）．文献 [11] を参考に，ビブラートは正弦波，奏のいずれに対しても最も優れた分離精度を達成した．

グリッサンドは二次方程式（自由落下運動），こぶしは六次

本稿で提案するインタフェースや基盤技術は，混合音を対象に音の三要素である音高・音量・音色を個別に操作す© 2015 Information Processing Society of Japan*1

デモページ：http://winnie.kuis.kyoto-u.ac.jp/members/
ikemiya/demo/interaction2015/129

ビブラートこぶし࣎ؔबഀ਼մੵ Ր੢෾཯
グリスアップグリスダウン

楽譜に指定された音高ϒροٌ੽ޫึ

図 3

Ϥʖδ೘ྙΝԋ༽ͪ͢Ր੢෾཯

三種類の歌唱表現

誤りの場合），歌声のスペクトルを全く含まない分離結果となってしまい，音質を大きく損なう原因となる．
そこで，そもそも計算機による自動推定に誤りはつきものである（たとえ人間であっても自動採譜を完璧に行うこਬఈϒροٌ੽

Ϥʖδ͗఑ࣖͪ͢
बഀ਼൥ҕ

り高精度に歌声の F0 を検出する（図 2，上から三番目）．
ただし，F0 軌跡をペンツールで正確に描画することはユーࢨఈۢؔՐ঑න‫ݳ‬͹෉Յ

とは非常に困難）という前提に立ち，ユーザとの協調によ

ザの労力の面で現実的ではないので，時間–周波数スペク
トログラム上において，F0 の存在しそうな時間–周波数領෉ՅͤΖՐ঑න‫ݳ‬域をペイントツールでラフに塗りつぶすことで範囲を指定する．指定された周波数の下限と上限が 3.2.2 項における
(t)

(t)

cl ，ch となり，歌声の F0 推定が再度行われる．スペク
トログラム上には当初推定された F0 軌跡がオーバーレイ
表示されており，ユーザはスペクトルの調波構造を適宜参照しながら，F0 存在領域を塗りつぶすことができる．

࣎ؔ྘Ү΃‫ٱ‬ร‫׷‬

2.3 各種信号処理の実行
本システムは，定 Q 変換による時間周波数解析，Robust

PCA (RPCA) を用いた歌声分離 [16]，スペクトル位相復元などの複雑な信号処理は全てボタン一つで実行できる．
図 2

GUI 上での歌唱表現編集

ユーザが処理内容を意識する必要はほとんどなく，各部の方程式を用いて近似的に表現することにした．ただし，グ計算時間も十分に高速である．また，歌声の F0 軌跡が正しリスダウンについては，F0 の下降に合わせて音量を減少

く推定されているか確認するため，周波数が変調するサイさせることで自然性を向上させている．また，各歌唱表現

ン波を合成・再生する機能を実装した．入力音響信号と編ついて三種の大きさ (small，middle，large) を用意するこ

集後の出力音響信号はどちらも GUI 上で再生可能である．

とにより，ユーザの選択に柔軟性を持たせている．
ユーザは，マウスを用いて任意の時間区間を指定し，歌

3. 混合音中の歌唱表現編集

唱表現の種類と大きさを選択することで付与を行う．ただ本章では，音楽音響信号中の歌声に対して，音量・音高

し，グリッサンドとこぶしについては，指定区間が選択さを編集する手法について説明する (図 1)．入力音響信号はれた歌唱表現よりも短い場合には付与することはできな

まず，時間周波数領域（スペクトログラム）上において，

い．ビブラートについては，指定区間前後での音高の時間

操作対象の歌声スペクトルとそれ以外の伴奏音スペクトル的な不連続性を抑制するため，指定区間に収まり，周期のへと分離される．次に，分離された歌声スペクトルの変形

整数倍となる正弦波のうち最大長のものを生成する．

操作によって歌声の音量・音高操作を行う．

2.2 歌声の F0 再推定のための領域指定

3.1 定 Q 変換を用いた時間周波数解析

3.2 節で述べる歌声・伴奏音分離手法では，歌声の F0 軌

まず，定 Q 変換 [17] を用いて入力音楽音響信号の時間跡に基づいて混合音スペクトログラムから歌声の調波構造

周波数解析を行う．定 Q 変換はガボールマザーウェーブ

のみを抽出する．そのため，F0 推定に誤りがあると，歌声

レットを用いたウェーブレット変換の変種とみなすことが以外のスペクトルを含んだり（例：F0 推定結果が半ピッチ

でき，時間領域信号 x(n) に対して以下の式で定義される．

© 2015 Information Processing Society of Japan130ฆӳ᪦ἋἬἁἚἿἂἻἲ

配列）を低ランク行列とスパース行列とに分解する手法であり，次式で定式化される．

Robust principal
component analysis(RPCA)

minimize ∥L∥∗ + λ∥S∥1 (subject to L + S = X) (2)
ここで，X ，L，S はそれぞれ入力行列，低ランク行列おജ٣ἋἬἁἚἿἂἻἲ

ᵰᵮᵡᵟἰἋἁ

よびにスパース行列であり，∥ · ∥∗ と ∥ · ∥1 はそれぞれ核ノ
ルムと L1 ノルム，λ は低ランク性とスパース性のトレー
ドオフパラメータを表す．一般に時間変化するデータ集合などを入力とし，頻出する成分が低ランク行列に，それ以ᛦඬἰἋἁ外の成分がスパース行列に分解される．

ജ٣ἦἕἓ៽ួ

混合音のスペクトログラムを入力行列 X と見なしてRPCA を適用すると．繰り返し演奏されるため何度も出現する伴奏音（ドラムやギター）のスペクトルは低ランク
行列 L へ，それ以外の歌声などの時間的な変動が大きいスᵰᵮᵡᵟἰἋἁᴾᶖᴾᛦඬἰἋἁ

ജ٣ἋἬἁἚἿἂἻἲ

ペクトルはスパース行列 S へ分解される [16]．次に，分解結果からバイナリマスクを作成する．

{

Mr (t, f ) =図 4

歌声・伴奏音分離と歌声の F0 推定

n+⌊Nk /2⌋∑
1
X(n, k) =x(j)a∗k (j − n + Nk /2)
Nkj=n−⌊Nk /2⌋{
ak (n) = w(n/Nk ) exp(−i2πnfk /fs )Nk = Q ffks ,Q = (2

1/fratio−1− 1)|S(t, f )| > |L(t, f )|1

0 otherwise

バイナリマスクを混合音スペクトログラム X(t, f ) へ適用することで歌声スペクトログラムが分離できる．

(1)

qrate

ここで，k は対数周波数インデクス，fk は k に対応する線
形周波数 [Hz]，fs はサンプリング周波数を表す．w(t) は
区間 [0, 1] で正規化された窓関数である．また，fratio は対数周波数軸を離散化するための 1 オクターブの分割数を表し，qrate は時間周波数分解能のトレードオフを決定する．実用上，全時間サンプル n における対数スペクトルを

3.2.2 Subharmonic Summation を用いた F0 推定
RPCA により分離された歌声スペクトル Xsrpca (t, f ) から，Subharmonic Summation (SHS) [18] を用いて歌声のF0 軌跡を推定する．SHS は計算コストの低さとノイズへの頑健性を兼ね備えた音高推定法であり，スペクトルの各周波数ビンについて，そのビンを F0 であると仮定したときの倍音に対応する周波数ビンのパワーを重みつきで足し合わせることで，当該ビンに F0 が存在する尤度を計算す
る．この音高尤度関数の計算は，対数周波数スケールでは以下で定式化される．

求めるのではなく，例えば 10 [msec] などの時間幅で切りH(t, s) =出す．以後分かりやすさのため，定 Q 変換スペクトログ
ラムの時間インデクス，周波数インデクスをそれぞれ t，fとし，振幅スペクトログラムを X(t, f ) と記述する．

3.2 歌声・伴奏音分離と歌声 F0 推定の相補的実行
歌声・伴奏音分離と歌声の F0 推定は相互依存性をもっている．つまり，歌声の F0 軌跡が与えられていれば，歌声分離に利用することができる一方，歌声が分離されていれば，その F0 軌跡を推定することは比較的容易である．我々は，この相補的な関係を利用した歌声分離のための枠組みを提案する（図 4）．まず入力音響信号に対して， RobustN∑

hn P (t, s + 1200 log2 n),

ここで，t，s はそれぞれ時間インデクスと対数周波数 [cents]
を表し，P (t, s) は時間フレーム t，周波数 s [cents] における入力スペクトログラムの振幅である．N は足し合わせる
倍音数，hn は各倍音の重み関数であり，本稿ではそれぞれ 15 および 0.86n−1 とする．人間の聴覚特性の非線形性を考慮するため，SHS を適用する前に，入力スペクトルに対して A 特性補正 *2 をかけるものとする．

SHS による音高尤度関数 H(t, s) から歌声音高 F (t) は以下の式で計算される．

F (t) = arg max H(t, s)(t)

3.2.1 Robust PCA を用いた歌声分離
Robust PCA (RPCA) [14] は，与えられた行列（2 次元

(5)

(t)

cl ≤s≤chされた歌声から F0 軌跡を推定し，それを用いてさらに精密な歌声分離を行う．

(4)

n=1

PCA に基づくブラインド歌声分離を適用する．次に分離© 2015 Information Processing Society of Japan

(3)

(t)

(t)

ここで，cl ，ch はそれぞれ，時間フレーム t における音
高探索周波数範囲の下限と上限 ([cents]) である．
*2

replaygain.hydrogenaud.io/proposal/equal loudness.html

131Original spectrum (vocal)

Original spectrum
振幅

振幅

X(t, f )Xs (t, f )Estimated spectrum envelope

110

Mb (t, f )Simply-shifted spectrum

Harmonic mask

Mh (t, f )振幅

0E(t, f )RPCA mask

Masked spectrum

Corrected spectrum
振幅

振幅

Xs (t, f )

0

1200

2400

3600

4800

6000

7200

8400

Xshift (t, f )

3600

9600

4800

対数周波数 [cents]

図 5

6000

7200

8400

9600

対数周波数 [cents]

マスキングによる歌声スペクトルの選別: 上から，元の混合音

図 6スペクトル包絡を用いた音色補正: 上から，元の歌声スペクト

スペクトル，RPCA によるバイナリマスク，歌声 F0 軌跡にル，推定されたスペクトル包絡，単純にシフトしたスペクトル，

よる調波マスク，選別された歌声スペクトルを示す．

スペクトル包絡を用いて音色を補正したスペクトルを示す．

ルから擬似的にスペクトル包絡を推定し，音高シフト後に3.2.3 F0 軌跡を用いた歌声分離
RPCA を用いた従来の歌声分離では，曲の一部しか現れ各倍音の強度を修正する方法を提案する (図 6)．倍音のパないベースやドラム，メインボーカルと音高をずらして唱

ワーからスペクトル包絡を推定するには，対数スケールに和するバックコーラスなども，歌声として分離されてしま

おいて倍音周波数間を線形補間し，線形スケール（振幅スう．そこで，F0 軌跡を利用して，さらに精度の高い歌声分ペクトル）へ戻せばよい．ただし，F0 以下の周波数の包絡離を行う（図 5）．具体的には，前項で得られた F0 軌跡かは一定にしておく．離散的な周波数におけるパワースペク

ら，基本周波数 (F0) と倍音周辺以外のパワーをマスキン

トルからスペクトル包絡を精度よく求めるには離散全極モグする調波マスクを生成する．

デル (DAP) [19] を利用する方法も考えられるが今後の課

Mh (t, f ) =



 1



0

[

題とする．推定されたスペクトル包絡を対数周波数軸へス

Hth − w2 < C(f ) < Hth + w2
Hth = Ft + 1200 log2 h, 1 ≤ h ≤ Hotherwise

ケーリングしたものを E(t, f ) とおく．ここでシフトする
周波数ビン数を m とすると，音色の補正された歌声（振幅）スペクトルは以下の式で計算される．

ここで，Ft は時間フレーム t における F0 [cents]，C(f )は周波数ビン f に対応する対数周波数 [cents]，H は倍音

Xshift (t, f ) = At Xs (t, f − m)E(t, f )E(t, f − m)

(7)数，w は各倍音でマスクを取る幅 [cents] を示す．RPCA

ただし，At は音高シフト前後の総スペクトルパワーを一によるバイナリマスクと調波マスクを用いて，最終的な歌定とするための正規化係数である．これより，最終的に得声と伴奏のスペクトログラム Xs (t, f )，Xm (t, f ) はそれぞられる振幅スペクトルは次式で与えられる．

れ以下のように得られる．

Xnew (t, f ) = Xm (t, f − m) + b ∗ Xshift (t, f )(8)

Xs (t, f ) = Mr (t, f )Mh (t, f )X(t, f ),Xm (t, f ) = X(t, f ) − Xs (t, f )(6)

3.4 位相復元による時間領域信号の再合成
定 Q 変換スペクトログラムに対して定 Q 逆変換 [17] を適用することで，時間領域の信号を再合成することができ

3.3 音色補正を用いた音高・音量シフトる．しかし，音高シフトにより振幅スペクトルが変形され最後に，得られた歌声スペクトル Xs (t, f ) を変形し，伴ているため，元の位相をそのまま用いて逆変換を行うと音奏スペクトル Xm (t, f ) と混合する．線形周波数軸 [Hz] にの歪みの原因となる．そこで，定 Q 変換と逆変換を繰り返

おいて音高を a 倍する処理は，対数周波数軸 [cents] では

す位相復元法 [20] を変形後の振幅スペクトログラムに適用

1200 log2 a [cents] シフトする処理に対応する．つまり，対した後，逆変換を行うことで時間領域の信号を得る．

数周波数軸でスペクトル全体をシフトすれば，音高を変えることができる．また，音量を b 倍するには，スペクトル4. 評価実験

全体の大きさを b 倍する．しかし，音声のスペクトル包絡

本章では，提案した歌声分離手法の定量的な評価を行う．

には音韻性や音色の情報が含まれるため [7]，歌声のスペク

この種の音楽信号編集システムを実用に耐えるものにする

トルを単純にシフトさせただけでは，スペクトル包絡も合には，基礎技術の精度が何より重要である．また，音色補

わせてシフトされ，不自然な音となってしまう問題がある．

正の有効性，ユーザ入力を用いた F0 推定の頑健性を確認

本研究では，音色の補正をするため，前の歌声スペクト

し，実際に音楽音響信号に対する歌唱表現の転写例を示す．

© 2015 Information Processing Society of Japan132

表 1 MIREX2014 の歌声分離タスクの結果．評価値は NSDR [dB]．

25

RPCA
RPCA-F0
RPCA-F0-GT
Ideal

dB

20
15
10
5
0

SDR

SIR

SAR

30

RPCA
RPCA-F0
RPCA-F0-GT
Ideal

25
20

100
98
96
94
92
90
88
86
84
50

15
10
5
0

図 7

[22]

[23]

[24]

[25]

歌声

−1.40

−0.82

0.65

2.86

伴奏

0.35

−3.12

3.09

5.03

手法

GW1

RNA1

[26]

提案手法

歌声

2.89

3.69

4.17

4.48

伴奏

5.25

7.32

5.63

7.87

正解率 [%]

dB

NSDR

手法

SDR

SIR

SAR

NSDR

MIR-1K データセットを用いた歌声分離結果（全曲の平均値

100

150

200

250

300

350

400

450

500

550

600

c: 周波数幅 [cents]

11）：上図が歌声の分離精度，下図が伴奏の分離精度を示す．
図 8

ユーザの提示する周波数幅と歌声音高推定精度の関係

4.1 実験条件
実験には 16kHz・16bits・モノラルの音響信号を用い

図 7 に結果を示す．RPCA のみを用いた手法 (RPCA)

た．定 Q 変換のパラメータは，fratio：0.005 (200 bins perと比較し，提案手法 (RPCA-F0) により歌声・伴奏双方

octave)，qrate：0.2 とし，ホップサイズは 10 [msec] としについて分離精度が有意に向上していることが分かる．また．RPCA を用いた歌声分離では，低ランク性とスパー

た，表 1 は音楽認識の国際的なコンテストである MIREX

ス性のトレードオフパラメータ k を決定する必要がある

2014 [15] における歌声分離タスク（テストデータは非公開

が [16]，本稿では実験的に 0.1 と定めた．また，3.2.3 項でなのでフェアな評価が可能）の結果*4 である．多くの最新の各倍音のマスク幅 w は 120 [cents] とした．

手法 [22–26] が参加した中で，提案手法は歌声・伴奏音の双方について，最も高い分離精度を達成した．

4.2 歌声分離枠組みの評価
3.2 節で述べた F0 推定に基づく歌声分離の有効性を評

4.3 指定する周波数幅の歌声 F0 推定への影響価するため，バイナリマスクの作成方法の違いにより，以2.2 節で述べた通り，スペクトログラム上でユーザが指定下の四手法を比較した．

した周波数領域に基づいて歌声の F0 を推定する際に，指定RPCA: RPCA マスク [16]された領域の大きさがどの程度推定精度へ影響するかを調RPCA-F0: RPCA + 調波マスク（提案手法）

べた．実験には，“RWC Music Database: Popular Music”

RPCA-F0-GT: RPCA + 調波マスク（正解 F0 を使用）

(RWC-MDB-P-2001) [27] から，ユニゾン歌唱や極端な音

Ideal: 理想のバイナリマスク（精度の上限）

声加工（オートチューンなど）を含まないポピュラー楽曲

なお，歌唱表現編集システムでは音高操作の容易さから，94 曲を用いた．正解音高から上下に ±c [cents] の幅を探

時間周波数解析として定 Q 変換を用いているが，ここで索周波数範囲として F0 推定を行った．c の値を変化させは純粋な歌声分離精度を評価するため短時間フーリエ変換

ることで F0 推定精度がどのように変化するかを調べた．

(STFT) を用いた結果を示している．

図 8 (a) に結果を示す．50 [cents] 以下の誤差を正解と実験データには MIR-1K データセット*3 を使用した．

判定し，推定精度は歌唱区間における正解率（全楽曲の平

データセットは 110 曲（20-110 秒，サンプリング周波数 16均）である．c = 100 [cents] で既に 10 % 弱の誤りが存在kHz）の歌唱入り楽曲からなる．各分離結果は BSS Eval

しているが，実際にはこれらのほとんどが音符の遷移部な

Toolbox [21] を用いて，source-to-interference ratio (SIR)，

ど，極端に歌声の音量が小さくなる箇所で起こっているこ

sources-to-artifacts ratio (SAR)，source-to-distortion ra-とを確認した．本稿で扱う歌唱表現はいずれも一つの音符

tio (SDR)，及び Normalized SDR (NSDR) によって評価

上で音を伸ばしている箇所に転写する性質のものであるた

した．SIR，SAR，SDR と NSDR はそれぞれ，目的音源

め，これらの推定誤りは実用上それほど問題にならないと（歌声）以外の音源からの雑音，ミュージカルノイズなどの考えられる．また，c の変化に対して推定精度の下降は非雑音，目的音源の歪み，分離前音源からの SDR の向上を

常に緩やかであり，c = 400 [cents] においても 90%弱の表しており，単位はデシベル (dB) である．値が大きいほ

F0 推定精度を保つことができた．これは，ユーザが正解

ど分離精度が優れていることを示す．

F0 から上下 4 半音の範囲を F0 存在領域として指定（ス*3*4sites.google.com/site/unvoicedsoundseparation/mir-1k© 2015 Information Processing Society of Japan

music-ir.org/mirex/wiki/2014:Singing Voice Separation Results133ฦॄ઴ηϘέφϫήϧϞ

6
音色補正なし音色補正あり5

TANDEM-STRAIGHT
対数周波数 [cents]

評価値

4
3
2
1
0

100

200

300

Ր঑න‫ݳ‬͞΁͢ϑϔϧʖφฦॄ‫ޛ‬ηϘέφϫήϧϞ

ήϨρ
γϱχ

400

ビブラートの振幅 [cents]

図 9

音色の自然性の評価: 赤は音色補正なし，緑は音色補正あり，
灰は TANDEM-STRAIGHT の結果を示す．評価値は全被
時間

験者・音韻の平均であり，エラーバーは標準偏差を表す．

ペクトログラム上へのペイント）すればよいことを示しており，十分に実用的な許容誤差である．

4.4 音色補正の効果

図 10

市販楽曲に対する歌唱編集の例（ラッキープール / JUDYAND MARY）: 上から，入力音響信号のスペクトログラム，
付与する歌唱表現，編集後のスペクトログラムを表す．

4.5 市販楽曲に対する歌唱編集

3.3 節におけるスペクトル包絡を用いた音色補正の効果実装したシステムを用いて，市販楽曲中のプロ歌手の歌を調べた．音色補正の効果を純粋に調べるため，無伴奏歌声に対して歌唱表現の編集を行った．図 10 はポピュラー

唱を実験データとして用いた．女性が「い」
「う」
「お」の音

楽曲（ラッキープール / JUDY AND MARY）に対する編韻を平坦に伸ばして発音している音声に対し，周期 6 [Hz]，

集例である．伴奏音のスペクトルにほとんど影響を与えず

振幅 100・200・300・400 [cents] のビブラートを付与し，7に，歌声のスペクトルのみが変形されている様子が見て取

名の被験者数による聴取実験によって音色の自然性を調べれる．実際に編集後の音響信号を聴取したところ，歌声のた．比較対象として，音色補正を行わず対数周波数軸で音歌い回しが違和感なく編集されていることを確認した．一

高シフトした音声，TANDEM-STRAIGHT [7] による合成部の楽曲では，編集後の音響信号に微小なノイズが感じら

音声を用いた．TANDEM-STRAIGHT は，単独音声の操れた．この原因の一つとして，高周波数において歌声とそ

作に関して非常に品質の高い合成音声を得ることができるの他のドラムなどのスペクトルの分離が不完全であること

ため（混合音から分離された歪みのある歌声に対しては実が考えられる．定 Q 変換では高周波数の周波数分解能が用的ではない），今回の評価値の上限を設定する役割を持低くなり，スペクトルが密に重なりあうためである．歌声

つ．各音韻について，まず元音声を聴かせ，次に無作為なのスペクトルにおいて，ある周波数以上の高周波成分はパ

順番で三手法・三種類の振幅の音高シフト音声を聴かせ，

ワーも小さく，聴覚上も聴き取りづらい傾向があるため，「音色の自然性」について五段階で評価させた．

歌声スペクトルの選別において高周波成分をある程度切り

図 9 に振幅毎の結果を示す．音色補正により音色の自然捨てる処理を行うことで，聴覚的な自然さが増すのではな性が大幅に向上していることが分かる．特に，200 [cents] 以

いかと考えている．編集結果のサンプル音源を Web サイ

下では，音色補正を用いた音声は TANDEM-STRAIGHT

トで聴取することができる [28]．

と比較的近い評価を得た．多くのポピュラー歌手のビブ
ラートが 200 [cents] 以下であることからも，音色補正は

5. インタフェースの課題

非常に有効であるといえる．振幅が大きくなるに従い，

本稿で提案した歌唱表現編集インタフェースは，ユーザ

TANDEM-STRAIGHT を含めて全体的に音色自然性は低が調波構造や F0 といった音声の情報に対してある程度知下する傾向にあった．これは，同じ音韻・音符内であって識があることを前提としている．例えば，GUI 上で歌声

も，音高を大きく変化させる歌唱表現をする場合，音色（スF0 の存在箇所を提示するには，表示された時間周波数スペ

ペクトル包絡の形状）も合わせて大きく変化していること

クトログラムから，いずれが歌声のスペクトルであるかをを示唆している．中でも音色補正を用いた音声は自然性が判別する必要がある．実際，4.5 節で市販楽曲に対し編集大きく下がっており，倍音周波数のピークへ極端にフィッ処理を行ったのは，音声信号処理に精通した学生である．

ティングする現状の簡易なスペクトル包絡推定法が原因のそういった知識を持たない一般のユーザが直感的に操作一つと考えられる．今後は，離散全極モデル (DAP) などを行えるインタフェースを実現するため，判別を助ける情の推定法を採用することで自然性の向上が期待される．ま報をシステムからフィードバックする機能を考える．具体

た，無伴奏歌唱だけでなく混合音中の歌唱に対する音色・的には，推定された F0 軌跡を音信号として再生すること

音質調査が必要であると考えている．

により，ユーザはその F0 が正しいかを判断し，誤り箇所© 2015 Information Processing Society of Japan

134

を修正することが可能となる．この処理は，音楽解析サー
ビス Songle [13] においても採用されている．また，ユー
ザに編集処理の流れを明示的に指示することで，円滑な操[9]作が行えると考えている．今後はこれらの実装を行い，音声信号処理に精通していない被験者による主観評価を行う[10]

予定である．

6. おわりに[11]

本稿では，伴奏を含む市販楽曲中の歌声の歌唱表現を編集するシステムを提案した．入力音響信号は，歌声の F0
推定を相補的に用いる歌声・伴奏音分離手法により，歌声[12]

スペクトログラムと伴奏音スペクトログラムとに分解される．ユーザは GUI 上で，歌声の F0 軌跡の任意の箇所に，[13]

ビブラート，グリッサンド，こぶしなど任意の歌唱表現を選択的に付与することができる．
本研究で開発した高精度な歌声・伴奏音分離技術を生か

[14]
[15]

して，混合音中の歌声の F0 以外にも，音色・音量を合わせて編集するような拡張を行う予定である．将来的に，我々が以前提案した歌唱表現ライブラリ [11] との統合を行い，[16]

ユーザが好みの歌手を指定しただけで，その歌手の特徴的な歌唱表現が，伴奏つき歌声の適切な位置に自動的に付与されるようシステムを洗練化していきたい．
謝 辞 本 研 究 の 一 部 は ，JSPS 科 研 費 26700020，

[17]
[18]

24220006，24700168, 26280089 および JST CREST OngaCREST プロジェクトの支援を受けた．

[19]

参考文献

[20]

[1]
[2]

[3]

[4]

[5]

[6]

[7]

[8]

Goto, M.: Active Music Listening Interfaces Based on
Signal Processing, ICASSP (2007).
Yoshii, K., Goto, M., Komatani, K., Ogata, T. andOkuno, H. G.: Drumix: An Audio Player with Real-timeDrum-part Rearrangement Functions for Active Music
Listening, IPSJ Journal (2007).
Itoyama, K., Goto, M., Komatani, K., Ogata, T. andOkuno, H. G.: Instrument Equalizer for Query-byExample Retrieval: Improving Sound Source Separation
based on Integrated Harmonic and Inharmonic Models,
ISMIR (2008).
Fritsch, J. and Plumbley, M. D.: Score Informed Audio
Source Separation using Constrained Nonnegative Matrix Factorization and Score Synthesis, ICASSP (2013).
Rafii, Z., Germain, F. G., Sun, D. L. and Mysore, G. J.:
Combining Modeling of Singing Voice and Background
Music for Automatic Separation of Musical Mixtures, ISMIR (2013).
Saito, T. and Goto, M.: Acoustic and Perceptual Eﬀects
of Vocal Training in Amateur Male Singing, INTERSPEECH (2009).
Kawahara, H., Morise, M., Takahashi, T., Nisimura, R.,
Irino, T. and Banno, H.: Tandem-STRAIGHT: A Temporally Stable Power Spectral Representation for Periodic Signals and Applications to Interference-free Spectrum, F0, and Aperiodicity Estimation, ICASSP (2008).
Ohishi, Y., Mochihashi, D., Kameoka, H. and Kashino,© 2015 Information Processing Society of Japan

[21]

[22]

[23]

[24]

[25]
[26]

[27]

[28]

K.: Mixture of Gaussian Process Experts for Predicting
Sung Melodic Contour with Expressive Dynamic Fluctuations, ICASSP (2014).
大石康智，持橋大地，亀岡弘和，柏野邦夫：混合ガウス
過程に基づく歌声音量軌跡の生成過程モデル，情処研報(2013).
Fujihara, H. and Goto, M.: Concurrent Estimation ofSinging Voice F0 and Phonemes by Using Spectral Envelopes Estimated from Polyphonic Music, ICASSP, pp.
365–368 (2011).
Ikemiya, Y., Itoyama, K. and Okuno, H. G.: Transcribing Vocal Expression from Polyphonic Music, ICASSP(2014).
Bryan, N. J. and Mysore, G. J.: An Eﬃcient Posterior
Regularized Latent Variable Model for Interactive Source
Separation, ICML (2013).
後藤真孝，吉井和佳，藤原弘将，Mauch, M.，中野倫靖：Songle: 音楽音響信号理解技術とユーザによる誤り訂正に基づく能動的音楽鑑賞サービス，情処論 (2013).
Candes, E. J., Li, X., Ma, Y. and Wright, J.: Robust
Principal Component Analysis?, J. ACM (2011).
Downie, J. S.: The Music Information Retrieval Evaluation Exchange (2005―2007): A Window into Music
Information Retrieval Research，Acoustical Science andTechnology, Vol. 29, pp. 247–255 (2008).
Huang, P.-S., Chen, S. D., Smaragdis, P. and HasegawaJohnson, M.: Singing-Voice Separation from Monaural
Recordings Using Robust Principal Component Analysis, ICASSP (2012).
Schorkhuber, C. and Klapuri, A.: Constant-Q Transform
Toolbox for Music Processing, SMC Conference (2010).
Hermes, D. J.: Measurement of pitch by subharmonicsummation, J. Acoust. Soc. Am., Vol. 83, No. 1, pp.
257–264 (online), DOI: 10.1121/1.396427 (1988).
El-Jaroudi, A. and Makhoul, J.: Discrete All-Pole Modeling, IEEE Trans. on Signal Proc. (1991).
Irino, T. and Kawahara, H.: Signal Reconstruction from
Modified Auditory Wavelet Transform, IEEE Trans. on
Signal Proc. (1993).
Vincent, E., Gribonval, R. and Févotte, C.: Performance Measurement in Blind Audio Source Separation,
IEEE Trans. on Audio, Speech and Language Processing, Vol. 14, pp. 1462–1469 (2006).
Huang, P.-S., Kim, M., Hasegawa-Johnson, M. andSmaragdis, P.: Singing-Voice Separation from Monaural Recordings using Deep Recurrent Neural Networks,
ISMIR (2014).
Yen, F., Luo, Y.-J. and Chi, T.-S.: Singing Voice Separation using Spectro-Temporal Modulation Features, ISMIR (2014).
Liutkus, A., Fitzgerald, D., Rafii, Z., Pardo, B. and
Daudet, L.: Kernel Additive Models for Source Separation, IEEE TSP (2014).
Rafii, Z. and Pardo, B.: Music/Voice Separation using
the Similarity Matrix, ISMIR, pp. 583–588 (2012).
Jeong, I.-Y. and Lee, K.: Vocal Separation from Monaural Music Using Temporal/Spectral Continuity and Sparsity Constraints, Signal Processing Letters, Vol. 21, pp.
1197–1200 (2014).
Goto, M., Hashiguchi, H., Nishimura, T. and Oka, R.:
RWC Music Database: Popular, Classical, and Jazz Music Databases, ISMIR, pp. 287–288 (2002).
池宮由楽：デモページ，http://winnie.kuis.kyoto-u.
ac.jp/members/ikemiya/demo/interaction2015/.

135