2006−MUS−66（7）2006／8／7

社団法人 情報処理学会 研究報告
IPSJ SIG Technical Report

音楽音響信号と歌詞の時間的対応付け手法:
歌声の分離と母音の Viterbi アラインメント
藤原
駒谷

弘 将†
和 範†

真 孝‡
哲 也†

後藤
尾形

† 京都大学大学院 情報学研究科 知能情報学専攻

緒 方
奥 乃

淳‡
博†

‡ 産業技術総合研究所

本稿では，伴奏音を含む音楽音響信号と対応する歌詞の時間的な対応付け手法について述べる．クリーンな音声信号とその発話内容の時間的対応付けを推定をする Viterbi アライン メント手法はこれまでも存在した
が，歌声と同時に演奏される伴奏音の悪影響で市販 CD 中の歌声には適用できなかった．本稿では，この問題を解決するため，歌声の調波構造を抽出・再合成することで混合音中の歌声を分離する手法，歌声・非歌
声状態を行き来する隠れマルコフモデル (HMM) を用いた歌声区間検出手法，音響モデルを分離歌声に適応させることで Viterbi アライン メントを適用する手法を提案する．日本語のポピュラー音楽を用いた評価実験を行い，本手法により 10 曲中 8 曲について十分な精度で音楽と歌詞の対応付けが出来ることを確かめた．

Automatic synchronization
between musical audio signals and their lyrics:
vocal separation and Viterbi alignment of vowel phonemes
H IROMASA F UJIHARA† , M ASATAKA G OTO‡ , J UN O GATA‡ , K AZUNORI KOMATANI† ,T ETSUYA O GATA† and H IROSHI G. O KUNO†† Dept. of Intelligence Science and Technology, Graduate School of Informatics, Kyoto University‡ National Institute of Advanced Industrial Science and Technology (AIST)This paper describes a method that can automatically synchronize between polyphonic musical audio signals andcorresponding lyrics. Although there were methods that can synchronize between monophonic speech signals andcorresponding text transcriptions by using Viterbi alignment techniques, they cannot be applied to vocals in CDrecordings because accompaniment sounds often overlap with vocals. To align lyrics with such vocals, we therefore developed three methods: a method for segregating vocals from polyphonic sound mixtures by extracting andresynthesizing the vocal melody, a method for detecting vocal sections using a Hidden Markov Model (HMM)
that transitions back and forth between vocal and non-vocal state, and a method for adapting a speech-recognizer
phone model to segregated vocal signals. Experimental results for 10 Japanese popular-music songs showed that
our system can synchronize between music and lyrics with satisfactory accuracy for 8 songs.
は，演奏の映像と同期して歌詞を表示することで，視1. は じ め に

聴者の楽曲鑑賞の手助けをするものもある．

歌声とその歌詞は，楽曲の主題やストーリーを表現

本稿では，伴奏を含む音楽とその歌詞の時間的な対し，楽曲を特徴づける要素の一つであるため，ポピュ

応付け手法を提案する．つまり，与えられた音楽音響

ラー音楽を始めとする多くのジャンルの音楽で重要な信号と対応する歌詞をアライン メントすることで，歌役割を果たしている．実際，人が楽曲を聴く際には，詞の各フレーズの開始時刻と終了時刻を推定する．歌

歌声のメロディを聴き，その歌詞を耳で追うことが多詞は多くの場合 Web などの情報源から手に入るので，い．そのため，音楽ビデオやテレビの音楽番組の中に我々は，歌詞の認識とは異なるアプローチを取った．本1−37−

手法は，音楽ビデオのテロップの自動作成や，楽曲中共に伴奏音が演奏されている場合や，歌が歌われないのユーザーの聴きたい歌詞の部分にジャンプ出来る機

間奏部が存在する場合には，適切に機能しない．この問

能を持つ音楽再生インタフェースなどに応用出来る．

題に対処するため，本研究ではまず我々が以前提案し1)

Wang ら は，我々と同様の問題に取り組んでいた．

た，伴奏音抑制5) を適用する．この手法では，メロディ

彼らは，ビートトラッキングやサビ区間検出などの高の調波構造を抽出・再合成することで，歌声を含むメ

次の情報と，低次の歌詞アライン メント手法を統合す

ロディのみが分離された音響信号を得る．次に，歌声・るというアプローチを取った．しかし，彼らの低次の非歌声状態を行き来する隠れマルコフモデル (HMM)

歌詞アライン メント手法は，歌詞中の各音素の発声長に基づく歌声区間検出を用いて，分離されたメロディの情報のみを用いていた．各音素の発声長は，楽曲中から実際に歌声が存在する区間を検出する．最後に，での登場位置によって大きく異なるため，この手法はViterbi アライン メント を用いて，分離歌声と歌詞の不十分であった．また，高次の情報を推定するための手

アライン メントをする．また，ここでは，音響モデル

法は，楽曲の構造や拍子に対して強い仮定を必要としを特定歌手の分離歌声に適応させる手法についても述ていたため，適用できる楽曲に対して制限が大きかっ

べる．

た．その他の関連研究としては，音声認識器を用いて

3. 伴奏音抑制

2) 4)．しか歌詞の認識に取り組んだ研究があげられる．

し，それらの研究は伴奏音を含まない単独歌唱の歌声

混合音中の歌声の音韻的特徴を表す特徴量を抽出すを対象としているため，本研究が対象とする市販 CD

るためには，伴奏音の影響を低減させる必要がある．

などの音楽音響信号に適用するのは困難であった．

我々は，以前提案した伴奏音抑制手法5) ，つまり音響

現行の音声認識で用いられるアライン メント手法は信号中のメロディの調波構造を抽出・再合成することクリーンな話し声を対象とするため，伴奏を含む音楽

で，伴奏音の影響を低減させる手法を用いる．伴奏音とその歌詞の時間的な対応付けを取ることは出来なかっ抑制手法は，以下の 3 つの処理からなる．

た．そのため，本稿では下記の 3 つの手法を用いてこの(1)本周波数を推定する．

問題に対処した．混合音中の歌声の音響信号を分離する手法，歌声が歌われている区間を検出する手法，音(2)

推定された基本周波数に基づき，メロディの調波構造を抽出する．

響モデルを分離歌声に適応させることで音声認識器を音楽と歌詞の時間的な対応付けに適用する手法である．

後藤の PreFEst6) を用いて，メロディ(歌声) の基(3)抽出された調波構造を，正弦波重畳モデルを用いて音響信号に再合成する．

以下，第 2 章では，本研究の問題設定と提案手法の全体像について述べる．第 3 章から第 5 章では，提案以上の処理で，楽曲中のメロディのみの音響信号を得手法の詳細について説明する．第 6 章では提案手法のることが出来る．図 1 に本手法の概要を示す．本手法

有効性を確かめるために評価実験を行い，第 7 章ではにより得られたメロディの音響信号は，間奏などの区まとめと今後の展望について述べる．

間では (歌声でない) 楽器音も含んでいる．この問題は，4 節で述べる歌声区間検出手法によって対処する．

2. 音楽音響信号と歌詞の時間的対応付け手法

3.1 F0 推 定

本稿では，与えられた音楽音響信号とその歌詞に対基本周波数推定 (F0 推定) には，後藤の PreFEst 6) をして時間的な対応付けを推定することで，歌詞の各フ用いる．PreFEst は，制限された周波数帯域において最レーズの開始時間と終了時間を求めることを目指す．

も優勢な調波構造を持つ F0 を推定する手法である．メ

対象データは，市販 CD などの実世界の音楽音響信号

ロディは中高域の周波数帯域において最も優勢な調波

であり，歌声だけでなく様々な楽器音を含んでいる．対構造を持つ場合が多いため，周波数帯域を適切に制限

象楽曲に対して，歌声の主要な部分は (コーラスを除することで，メロディの F0 を推定することが出来る．

いて) 一人の歌手によって歌われるという仮定を設け

以下，PreFEst の概要を記す．以後，x は cent の単位

るが，伴奏音の音源の種類や数については仮定を設けで表わされる対数周波数軸上の周波数で， t は時間をない．

表わすとする．cent は，本来は音高差 (音程) を表す尺

この目的のための本研究のアプローチは，音声認識で使われる Viterbi アラインメント (強制アラインメン

度であるが，本論文では文献 6) に従い，440

3

2 12 5

Hz を基準として，次式のように絶対的な音高を表すト ) を適用することである．しかし，この手法は歌声と−38−
2

3.2 調波構造抽出

Input (Polyphonic audio signals)

推定された F0 に基づき，メロディの調波構造の各倍音成分のパワーを抽出する．各周波数成分の抽出に

1. F0 Estimation

は，前後 r cent ずつの誤差を許容し，この範囲で最もパワーの大きなピークを抽出する．l 次倍音 l

1

Lのパワー Al と周波数 Fl は，以下のように表される．

2. Harmonic Structure
Extraction

Flargmax S F
F

lF

r

1

2 1200

F

lF

r

1

2 1200

(6)

S Fl

Al

(7)

3. Resynthesis

ここで，S F はスペクトルを，F は PreFEst によってOutput (Melody’s audio signals)

推定された F0 を表す．本稿では，r の値として 20 を用いた．

3.3 再 合 成

図 1 伴奏音抑制

抽出された調波構造を正弦波重畳モデル 7) に基づき単位として用いる．

fcent

1200 log2再合成することで，メロディの音響信号を得る．時刻

fHz
3
12

5

(1)

440 2
t
パワースペクトル Ψ p x に対して，メロディの周波数t における l 次倍音の周波数を Flttと，振幅を Al と表す．各フレーム間の周波数が線形に変化するように，成分の多くが通過するように設計された帯域通過フィ

位相の変化を 2 次関数で近似する．また，各フレーム

ルタを適用する．本研究では，文献 6) に従い，4800

間の振幅の変化は 1 次関数で近似する．再合成された

cent 以上の成分を通過させるフィルタを用いた．フィ

音響信号 s k は，以下のように表現される．

t

ルタを通過後の周波数成分は BPF x Ψ p x ，と表わθl k

される．ただし，BPF x はフィルタの周波数応答である．以後の確率的処理を可能にするため，フィルタをt
BPF x Ψ p

t

pΨ x

t
∞
∞ BPF x Ψ p

x

Fl

t

Al

t

K
t 1

sl k

Al

sk

∑ sl k

通過後の周波数成分を確率密度関数 (PDF) として，以下のように表現する．

t 1

π Fl

t

θl 0

t

(8)

sin θl k(9)k2

2π Fl k

k
K

Al

t

L

(10)

l 1

(2)

x dx

ここで，k は時間 (単位: 秒) を表し ，時刻 t において0 とする．また，K は， t と t

1 の時間の差，

その後，周波数成分の PDF が，全ての可能な F0 に対k応する音モデルの重みつき和からなる確率モデル，

つまりフレームシフトを秒の単位で表す． θl 0 は，位p xθ t

θ

t

Fh

t

w t F p x F dF

(3)

F Fl

(4)

Fl

w

t

F

Fh

から生成されたと考える．ここで，p x F は，それぞ相の初期値を表し ，入力信号の先頭のフレームでは，tθl 0

レームの l 次倍音の周波数 Flを用いて，れの F0 についての音モデルとし，Fh と Fl を取り得る

π Fl

t

Fl
2K

t 1

t 1

t 1

θl 0

t 1

と，初期位相 θl 0で与えられる．

4. 歌声区間検出

F0 の上限と下限とする．また，w t F は音モデルの重みで，t0 とする．以後のフレームでは， θl 0 は，前フ伴奏音抑制手法によって得られたメロディの音響信

Fl

w

t

F dF

1

(5)

Fh

を満たす．音モデルとは典型的な調波構造を表現した
確率分布である．そして，EM アルゴ リズムを用いて

w t F を推定し ，それを F0 の PDF と解釈する．最終的に，w t F の中の優勢なピークの軌跡を，マル
チエージェントモデルを用いて追跡することで，メロディの F0 系列を得る．

号は，間奏部などの非歌声区間では楽器音を含んでいる．そのような非歌声区間の存在は，音響信号と歌詞をアラインメントする際に悪影響を与える．本稿では，
この問題を解決するため，入力音響信号中の非歌声区
間を歌声区間検出手法を用いて除去する．
一般に，歌声の検出は，正解率 (hit rate) と棄却率

(correct rejection rate) によって評価される．ただし，正解率とは実際に歌声を含む領域の内，正しく歌声区間−39−3

4.2 閾値の設定

Vocal State sV

正解率と棄却率の関係は，式 (12) と (13) 中の η を

Non-Vocal State sN

変更することで調整する．しかし，GMM の尤度には楽曲によってバイアスがかかるため，全ての楽曲に適Output Probability

切な η を定めるのは困難である．そこで，本稿では η

Output Probability

を バイアス調整値 ηdyn とタスク依存値 ηfixed に分割

p(x | sN )p(x | sV )する．

図 2 隠れマルコフモデル (HMM) に基づく歌声区間検出

ηとして検出できた割合を指し，棄却率とは実際に歌声

ηdynηfixed(14)

タスク依存値，ηfixed ，は用途に応じて手動で設定する．

を含まない領域の内，正しく非歌声区間として棄却出

一方，バイアス調整値，ηdyn ，は大津の閾値自動設定

来た割合を指す．我々が提案する歌声区間検出手法は，

法11) を用いて楽曲毎に自動的に設定する．まず，入力正解率と棄却率のバランスを調整することが出来る．

音響信号から抽出された特徴ベクトル列に対して，次

なぜなら，それらの二つの基準はトレード オフの関係

式のように歌声 GMM と非歌声 GMM の対数尤度差があり，適切な関係は用途によって異なるからである．

l x を計算する．

例えば，本研究では歌声区間検出手法は Viterbi アライ

l x

log

GMM x; θV

GMM x; θN

log

(15)

ン メントの前処理であるため，正解率を高く保ち，歌

そして，l x のヒストグラムを作成する．最後に，そ声を含む可能性のある部分は余さず検出出来ることがのヒストグラムをある閾値で 2 クラスに分割する場合望ましい．一方で，歌手名の同定などに用いる場合は，に，クラス間分散が最小となるような閾値を決定し ，棄却率を高く保ち，確実に歌声を含む部分のみを検出ηdyn の値として用いる．

するべきである．歌声の検出に関する先行研究8) 10) , で

4.3 特 徴 抽 出

は，正解率と棄却率のバランスを調整することは出来

本手法では，下記のような二種類の特徴量を用いる．

なかった．

LPC メルケプストラム (LPMCC)

4.1 定 式 化

歌声・非歌声識別のためのスペクトル特徴量とし歌声状態 (sV ) と非歌声状態 (sN ) を行き来する隠れマて，LPC メルケプ スト ラム (LPMCC) を用いる．

ルコフモデル (図 2) を用いて歌声区間を検出する．歌声

LPMCC は LPC スペクトル 12) から計算されたメ

状態は歌声が存在する状態を表し，非歌声状態は歌声

ルケプ ストラム係数である．この特徴量は，我々が存在しない状態を表す．ここでの目的は，次式のようが以前行った歌手名同定の実験で，メル周波数ケプに，入力音響信号から抽出された特徴ベクトル列に対ストラム係数 (MFCC)13),14) と比べて，歌声の特徴

して，歌声・非歌声状態の最尤経路 Ŝ

15)．本稿では，LPCをよく表現することを確認した．

sˆ1

sˆt

を探索することである．

Ŝ

argmax ∑ log p x st
S

スペクトルから MFCC を計算することで LPMCC

log p st 1 st

(11)

t

を抽出した．

ここで，p x s は状態 s の出力確率を表し，p si s j は

ΔF0s:

状態 s j から状態 si への遷移確率を表す．

歌声の動的な性質を表現する特徴量として，F0 の各状態の出力確率を，次式のように近似する．
1
log p x sV
log GMM x; θV
η
(12)
2
1
log GMM x; θNη(13)log p x sN
2
ここで， GMM x; θ は混合ガウス分布 (GMM) の確率密度関数を表す．また，η は正解率と棄却率の関係を微分係数 (ΔF0)16) を用いた．歌声は他の楽器音と比較して，ビブラートなどに起因する時間変動が多いので，F0 の軌跡の傾きを表す ΔF0 は，歌声と非歌声の識別に適していると考えられる．

ΔF0 の計算には，次式のように 5 フレーム間の回帰係数を用いた．

2

調整するパラメータである．歌声 GMM のパラメータ，

θV ，と非歌声 GMM のパラメータ，θN は，それぞれ，

Δf t

k

∑ k ft2k

本稿では，混合数 64 の GMM を用いた．

(16)

2

学習データの歌声区間と非歌声区間を用いて学習する．

k

∑k

2

2

ここで，f t は，時刻 t における周波数 (単位: cent)であるとする．
−40−
4

original lyrics (Japanese)sequence of the phonemes

図 4 適応用音素ラベルの一例

tachidomaru toki mata futo furikaeru
し声用の音素 HMM を利用する．これは，主として音

language model

a

i

o

a

u

sp

o

sp

a

a

sp

u

o

sp

u

i

a

e

u

声認識を目的として構築されたモデルである．適応手i法は，以下のように 3 段階からなる．

(1) 話し声用の音響モデルを単独歌唱の歌声に適応させる．

(2) 単独歌唱用の音響モデルを伴奏音抑制手法によって抽出された分離歌声に適応させる．

図 3 歌詞から文法への変換の一例(3) 分離歌声用の音響モデルを入力楽曲中の特定楽曲に適応させる．

5. Viterbi アラインメント(1) と (2) は教師あり適応で，事前に行われる．一方，

本節では，歌詞と分離歌声を Viterbi アラインメント(3) は教師なし適応で，認識時にオンラインで行われ(強制アラインメント ) する手法について述べる．まず，る．ここで，教師情報は，各音素ごとの時間情報 (音与えられた歌詞を元に，アライン メント用の文法を作

素の始端時間，終端時間) を指している．したがって，成する．次に，分離歌声から特徴ベクトルを抽出する．

教師あり適応の場合は，時間情報により正確にセグ メ

最後に，それらの文法と特徴ベクトルを用いてアライ

ンテーションされた音素データを用いて適応が行われン メントを行う．また，アライン メントに用いる音響

る．このときの時間情報は手動により付与した (図 4)．

モデルを，入力音響信号中の特定歌手に適応させる手

適応時のパラメータ推定には，MLLR と MAP を組み法についても述べる．

合わせた手法を用いた．

5.1 歌詞のテキスト 処理

5.3 アラインメント与えられた入力音響信号に対応する歌詞を用いて，歌詞を元に生成された文法，分離歌声の信号から抽

アラインメントに用いる文法を作成する．本研究では，出された特徴量と特定歌手に適応された音響モデル

アライン メントの際に，母音のみを用いる．これは，を用いて，Viterbi アライン メントを行う．特徴量は，

無声子音は調波構造を持たず，伴奏音抑制手法で抽出

MFCC13) ，Δ MFCC と Δ パワーを用いた．

出来ないことと，有声子音も発声長が短いため安定し6. 評 価 実 験て F0 を推定するのが難しいことが理由である．具体的な処理としては，まず歌詞を音素列に変換し，その提案手法の性能を確認するために，評価実験を行った．

後，以下の三つの規則を用いて文法に変換する．

6.1 実 験 条 件

撥音，すなわち “ん ” を表す音素以外の子音を削除

評価には，表 1 に示される 10 歌手 10 曲を用いた．

する．

これらの楽曲は，“RWC 音楽データベース:ポピュラー

歌詞中の文やフレーズの境界を複数回のショート

17). 楽曲の大半
音楽 (RWC-MDB-P-2001)” から選んだ．

ポーズ (sp) に変換する．

の部分は日本語で歌われているが，一部は英語で歌わ単語の境界を一回のショートポーズに変換する．

れている．本実験では，英語の音素は類似した日本語

図 3 に，歌詞から文法への変換の例を示す．

の音素の音響モデルを用いて近似した．これらの楽曲

5.2 音響モデルの適応に対して，性別毎の 5 fold cross-validation 法で評価を音響モデルを，入力楽曲中の特定歌手に適応させる．

した．つまり，ある歌手によって歌われている楽曲を本研究のように，歌声に対してアライン メントを行う

評価する際は，その歌手と同じ性別の歌手によって歌場合，音響モデルとしては，大量の歌声のデータからわれている他の楽曲を用いて音響モデルを適応させた．

学習されたモデルを使用することが理想的であるが，歌声区間検出手法の学習データには，表 2 に示され現段階ではそのようなデータベースは構築されていな

る 11 歌手からなる 19 曲を用いた．これらの楽曲もい．そこで，本実験では初期音響モデルとしては，話“RWC 音楽データベース:ポピュラー音楽 (RWC-MDB-−41−
5

Song #

表 1 評価用データ
Singer Name

Gender

012
027
032
037
039
007
013
020
065
075

Kazuo Nishi
Shingo Katsuta
Masaki Kuehara
Hatae Yoshinori
Kousuke Morimoto
Tomomi Ogata
Konbu
Eri Ichikawa
Makiko Hattori
Hiromi Yoshii

Male
Male
Male
Male
Male
FemaleFemaleFemaleFemaleFemaleAudio signal

Ground truth annotation (manually labeled)Phrase A
Phrase A

M
M
M
M
M
F
F
F
F
F
F

Phrase C
Phrase B

Correct

Incorrect Correct

Phrase C

Incorrect

Correct

Length of “correct” regions

Accuracy =表 2 歌声区間検出の学習データ
Singer Name
GenderPiece Number

Hiroshi Sekiya
Katsuyuki Ozawa
Masashi Hashimoto
Satoshi Kumasaka
OrikenTomoko Nitta
Kaburagi Akiko
Yuzu Iijima
Reiko Sato
Tamako Matsuzaka
Donna Burke

Phrase B

System output

Total length of the song
図5

評価基準

#037

#039

100
90

048, 049, 051
015, 041
056, 057
047
006
026
055
060
063
070
081, 089, 091, 093, 097

80
70
60
50
40
30
20
10
0
#012

#027

#032

#007

Male

#013

#020

#065

#075

Female

図 6 実験結果: システム全体の性能
表 3 Viterbi アライン メントの分析条件
サンプ リング
16 kHz, 16 bit
窓関数
Hamming 窓
フレーム幅
25 ms
フレームシフト
10 ms
12th order MFCC
特徴量
12th order ΔMFCC
ΔPower度が 90%を超えていた場合に，その楽曲は正しくアライン メントされたと判断した．

6.2 システム全体の評価
提案手法全体での性能を評価するため，本稿で述べた提案手法を全て用いて実験を行った． 図 6 に本実験の結果を示す．

P-2001)” から選んだ．また，これらの 11 歌手は評価

6.3 音響モデル適応手法の評価に用いられた 10 歌手には含まれていない．歌声区間

本実験の目的は，音響モデルの適応手法の効果を確検出手法の学習データにも，伴奏音抑制手法は適用し認することである．具体的には，以下の 4 つの条件でた．また，ηfixed の値は 1 5 に設定した．

実験を行った．

表 3 に，Viterbi アライン メントの分析条件を示す．

(i) 適応なし : 音響モデル適応を行わなかった．

初期音響モデルとしては，CSRC ソフトウェア18) 中の(ii) 1 段階適応: 話し 声用の音響モデルを直接分離歌

性別非依存モノフォンモデルを用いた．また，歌詞か声に適応させた．特定歌手への教師なし適応は行

ら音素列の変換には，日本語形態素解析システム茶筅わなかった．

(ChaSen)19) を実行し，その際に出力される読みの情報(iii) 2 段階適応: まず，話し声用の音響モデルを単独を用いた．特徴抽出，Viterbi アラインメントと音響モ

歌唱音声に適応させた後，分離歌声に適応させた．

デルの適応には，Hidden Markov Toolkit (HTK)20)のHCopy，HVite，HEAdapt を用いた．

特定歌手への教師なし適応は行わなかった．

(iv) 3 段階適応 (提案手法): まず，話し 声用の音響モ

評価は，フレーズ単位のアライン メントを元に行っ

デルを単独歌唱音声に適応させた後，分離歌声にた．本実験では，フレーズとは，元歌詞中のスペース適応させた．最後に，入力音響信号の特定歌手へや改行で区切られた一節を意味するものとする．評価の教師なし適応を行った．

基準として，楽曲の全体長の中で，フレーズ単位のラ

また，本実験では全ての条件について歌声区間検出手

ベルが正解していた区間の割合を計算した (図 5)．精法を使用した． 図 7 に本実験の結果を示す．

6−42−

6.5 考100

察図 6 を見ると，#007 と #013 を除き精度が 90%を超

90
80

えていることがわかる．つまり，本手法により 10 曲

70

中 8 曲について十分な精度で時間的対応を推定するこ60とが出来た．また，男声の精度が女性の精度に比べて50高いことが見て取れる．これは，高い F0 を持つ声は，

40
30

i. No adaptationii. 1 stepiii. 2 steps
iv. 3 steps

20
10

MFCC などのスペクトル特徴量を抽出するのが困難であるからである3) ．各楽曲の内部での誤りを分析する

0#012 #027 #032 #037 #039 #007 #013 #020 #065 #075と，歌詞が英語で歌われている部分付近では誤りが多Av.

く発生していた．これは，英語で発声された区間を，FemaleMale

日本語の音素表記，日本語の音素モデルで近似するこ

図 7 実験結果: 音響モデル適応の効果とは困難な場合があるということを意味している．今後は，日本語の音響モデルと英語の音響モデルを組み100合わせることで，このような問題に対処する予定であ90
80

る．その他の代表的な誤りは，歌詞に書かれていない

70

ハミング等が歌われている部分で発生していた．

60
50

図 7 によると，音響モデル適応手法は，全ての楽曲

40

で一定の効果があることがわかる．図 8 を見ることで，

30

歌声区間検出手法は，比較的精度が低い楽曲に適用す

Without detection
With detection

20
10

ると特に効果を発揮していることがわかる．しかし ，

0#012 #027 #032 #037 #039 #007 #013 #020 #065 #075

#007 と #013 に関しては，元々の精度が低いにもかかAv.

わらず，歌声区間検出手法の効果が薄い．この理由は，FemaleMale

これらの楽曲は，図 9 に見られるように，歌声区間検図 8 実験結果: 歌声区間検出の効果

出の棄却率が高くないため非歌声区間を十分に除去できなかったからであると考えられる．また，歌声区間
10090

検出手法が，#012 や#037 など 元々精度が高い楽曲に80適用されると，精度が僅かながら低下している．これ70
60

は，この手法で誤って除去されてしまった歌声区間は，

50

必ず不正解と判定されてしまうからである．

40

7. ま と め

30
Hit rate
Correct rejection rate

20
10

本稿では，音楽音響信号とその歌詞の時間的な対応

0
#012

#027

#032

#037

#039

Male

#007

#013

#020

#065

付け手法について述べた．提案手法は，伴奏音抑制，歌#075

声区間検出と Viterbi アラインメントの 3 つの処理から

Femaleなる．また，音響モデルを特定歌手の分離歌声に適応

図 9 実験結果: 歌声区間検出の正解率と棄却率させる手法についても述べた．評価実験により，様々

6.4 歌声区間検出の評価

な伴奏音を含む実世界の音楽音響信号に対して頑健に本実験の目的は，歌声区間検出の有効性を確認する

その歌詞を時間的に対応付けることが出来ることを確ことである．また，歌声区間検出自体の性能の評価も認した．

行う．歌声区間検出を用いた場合と用いない場合の 2

本研究には以下のような意義がある．

通りの条件で実験した．本実験では，適応処理には全伴奏を含む楽曲と歌詞の時間的対応付けの問題にて 3 段階の適応手法を使用した．図 8 に本実験の結果

対して，混合音から歌声を分離し，母音を認識すを示す．また，図 9 に，歌声区間検出自体の正解率とる手法を提案することで，初めて正面から取り組棄却率を示す．

んだ．伴奏音による悪影響により，先行研究ではこの問題に音声認識の技術を適用することが出来−43−
7

ていなかった．
正解率と棄却率のバランスを調整できる，新しい歌声区間検出を提案した．正解率と棄却率のバランスは用途によって異なるにもかかわらず，先行研究ではそのような観点に至っていなかった．本
研究では，閾値をバイアス調整値とタスク依存値の 2 つの値に分割し，バイアス調整値を大津の閾
値設定法11) を用いて自動的に設定することで，可能にした．
話し声の音響モデルを特定歌手の分離歌声に適応させる手法を提案した．この手法は，音楽と歌詞のアライン メントの問題だけでなく，今まで扱われたことのなかった伴奏を含む音響信号に対する歌詞認識の問題に対しても重要な知見である．
今後は，日本語以外の言語で歌われる楽曲に対しても評価実験を行う予定である．また，楽曲構造などの高次の情報を統合することで，より高度な音楽と歌詞の時間的対応付け手法を目指す．
謝辞 本研究の一部は，科学研究費補助金（ 基盤研
究 (A), 特定領域「情報学」），21 世紀 COE プログラム「知識社会基盤構築のための情報学拠点形成」の支援を受けた．また，本研究の実験において，「 RWC 研究用音楽データベース：ポピュラー」(RWC-MDB-P-2001)17)を使用した．最後に，ご 討論いただいた北原鉄朗氏，
吉井和佳氏 (京都大学)，中野倫靖氏 (筑波大学) に感謝する．

参 考 文 献1) Wang, Y., Kan, M.-Y., Nwe, T. L., Shenoy, A. and Yin,J.: LyricAlly: Automatic Synchronization of Acoustic Musical Signals and Textual Lyrics, Proceedings of the 12th
ACM International Conference on Multimedia, pp.212–219(2004).
2) Wang, C.-K., Lyu, R.-Y. and Chiang, Y.-C.: An Automatic
Singing Transcription System with Multilingual Singing
Lyric Recognizer and Robust Melody Tracker, Proceedingsof the 8th European Conference on Speech Communication
and Technology (Eurospeech2003), pp. 1197–1200 (2003).
3) Sasou, A., Goto, M., Hayamizu, S. and Tanaka, K.: An
Auto-Regressive, Non-Stationary Excited Signal Parameter
Estimation Method and an Evaluation of a Singing-Voice
Recognition, Proceedings of the 2005 IEEE International
Conference on Acoustics, Speech, and Signal Processing(ICASSP 2005), pp. I–237–240 (2005).
4) Hosoya, T., Suzuki, M., Ito, A. and Makino, S.: Lyrics
Recognition from a Singing Voice Based on Finite State
Automaton form Music Information Retrieval, Proceedingsof the 6th International Conference on Music Information
Retrieval (ISMIR 2005), pp. 532–535 (2005).
5) 藤原弘将, 北原鉄朗, 後藤真孝, 駒谷和範, 尾形哲也, 奥乃博: 伴奏音抑制と高信頼度フレーム選択に基づく楽曲の歌手名同定手法, 情報処理学会論文誌, Vol. 47, No. 6,
pp. 1831–1843 (2006).
6) Goto, M.: A real-time music-scene-description system:
predominant-F0 estimation for detecting melody and basslines in real-world audio signals, Speech Communication,
Vol. 43, No. 4, pp. 311–329 (2004).
7) Moorer, J. A.: Signal Procesing Aspects of Computer Music: A Survey, Proceedings of the IEEE, Vol. 65, No. 8, pp.
1108–1137 (1977).
8) Berenzweig, A. L. and Ellis, D. P. W.: Locating singing
voice segments within music signals, Proceedings IEEE
Workshop on Applications of Signal Processing to Audioand Acoustics (WASPAA) (2001).
9) Tsai, W.-H. and Wang, H.-M.: Automatic Detection andTracking of Target Singer in Multi-Singer Music Recordings, Proceedings of the 2004 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP
2004), pp. 221–224 (2004).
10) Nwe, T. L. and Wang, Y.: Automatic Detection of Vocal
Segments in Popular Songs, Proceedings of the 5th International Conference on Music Information Retrieval (ISMIR
2004), pp. 138–145 (2004).
11) Otsu, N.: A Threshold Selection Method from Gray-Level
Histograms, IEEE Transaction on System, Man, and Cybernetics, Vol. SMC-9, No. 1, pp. 62–66 (1979).
12) Atal, B. S.: Effectiveness of linear prediction characteristics of the speech wave for automatic speaker identification and verification, the Journal of the Acoustical Societyof America, Vol. 55, No. 6, pp. 1304–1312 (1974).
13) Davis, S. B. and Mermelstein, P.: Comparison of parametric representation for monosyllabic word recognition, IEEE
Transactions on Acoustic, Speech and Signal Processing,Vol. 28, No. 4, pp. 357–366 (1980).
14) Logan, B.: Mel frequency cepstral coefficients for music modelling, Proceedings of the International Symposium
on Music Information Retrieval (ISMIR 2000), pp. 23–25(2000).
15) Fujihara, H., Kitahara, T., Goto, M., Komatani, K., Ogata,
T. and Okuno, H.G.: Singer Identification Based on Accompaniment Sound Reduction and Reliable Frame Selection,
Proceedings of the 6th International Conference on Music
Information Retrieval (ISMIR 2005), pp. 329–336 (2005).
16) Ohishi, Y., Goto, M., Itou, K. and Takeda, K.: Discrimination between Singing and Speaking Voices, Proceedings of
9th European Conference on Speech Communication andTechnology (Eurospeech 2005), pp. 1141–1144 (2005).
17) 後藤真孝, 橋口博樹, 西村拓一, 岡隆一: RWC 研究用音楽データベース:研究目的で利用可能な著作権処理済み
楽曲・楽器音データベース, 情報処理学会論文誌, Vol. 45,
No. 3, pp. 728–738 (2004).
18) 河原達也, 武田一哉, 伊藤克亘, 李晃伸, 鹿野清宏, 山田篤:
連続音声認識コンソーシアムの活動報告及び最終版ソフ
トウェアの概要, 情報処理学会研究報告, pp. SLP–49–57(2003).
19) Matsumoto, Y., Kitauchi, A., Yamashita, T., Hirano, Y.,
Matsuda, H., Takaoka, K. and Asahara, M.: Japanese Morphological Analysis System ChaSen, http://chasen.naist.jp/(2000).
20) The Hidden Markov Model Toolkit (HTK),
http://htk.eng.cam.ac.uk/.

8−44−