情報処理学会第 74 回全国大会

6U-9

アクセント特徴量を用いた歌声と朗読音声の識別システム
阿曽 慎平 †齋藤毅‡

後藤 真孝 ‡‡

糸山 克寿 †徹†高橋尾形 哲也 †奥乃 博 †† 京都大学 大学院情報学研究科 知能情報学専攻 ‡ 金沢大学 理工学域電子情報学系 ‡‡ 産業技術総合研究所

1. はじめにスペクトログラム

周波数[Hz]

歌声と話声の自動識別技術は，音声メディア処理の拡大に重要である．人は，音声を歌声と話声を聞き分け，それに応じた応答をする．計算機システムも同様のこと

3000
2000
1000
0

アクセントの強さができれば，様々な可能性が広がる．例えば，ユーザが計算機に対し，明日の天気等を尋ねれば計算機は情報を返し，ユーザが歌を歌うと計算機はそのカラオケトラックを再生する，という機能が実現できる可能性がある．従00.5

11.5

22.5

33.5

44.5

33.5

44.5

アクセント

105

000.511.5

22.5
時間軸[s]

来の歌声と話声の自動識別研究は，ノイズの無いクリーンな歌声と朗読音声を用いて識別問題を考えている．
より現実的な場面に沿った自動識別システムの性能を知るために，雑音環境での識別を実現する必要がある．

図 1: 入力音声のスペクトログラムを表示したもの（上図）とアクセント抽出結果（下図）．下図*印はピーク，上図破線は，ピーク位置に合わせて引いた補助線．発声開始や音素が変わる時刻でピークとなることがわかる．

エアコンの動作音等の環境雑音が混入すると，識別精度が低下することが予想される．従来研究 [1, 2] では，識アクセントピーク間隔

別に，アクセントピーク間隔（以後ピーク間隔と略記），セントを抽出し [4]，そのピーク間隔をピークピッキング

メル周波数ケプストラム係数（MFCC），∆MFCC，基本法を適用して得られたピーク時刻に対し，隣り合うピー周波数（F0）が有効であるとされている．本稿では，こク間隔を算出することで求められる．アクセントとピー

れらの特徴が，ホワイトノイズ環境でも識別に有効であクの抽出例を図 1 に示す．

Klapuri らの手法を用いてアクるかどうかを検討する．雑音を含む歌声と朗読音声の識

このピーク間隔は，音響的な変化が顕著な箇所を境界別を行い，単独の特徴量で構成された識別器と，複数特として区切った区間の長さであり，音素継続時間と必ず徴を重み付け和により統合した識別器 [1] の識別精度をしも同一ではないが関連した値を持つ．例えば，音素継比較する．

続時間が短ければ，ピーク間隔も短くなる．音素継続時

2. 識別手法

間に関連した特徴量を用いた自動識別手法については，阿曽らの手法を用いる [1]．識別に用いる特徴量は，ピーク間隔・MFCC・∆MFCC・F0 の 4 つである．特徴量毎に，その分布から単独特徴量識別器と呼ばれる，歌声と話声の尤度差を出力（値が大きいほど歌声らしい）する識別器を構成する．単独特徴量識別器の重み付けを和を取ることで，最終的な尤度差（重み付け統合法）とする．

2.1

従来十分に調査されてこなかった。
ピーク間隔は他の特徴量のようにフレーム（時間）毎に値が求められるものではなく，ピークが検出される度にその間隔の値が求まる．そのため，他の特徴量がフレーム数分得られるのに対し，ピーク間隔の特徴量が得られる個数は少なくなるが，個数にかかわらず得られた特徴量の分布を学習して識別器を構成する．

F0・MFCC 韻律に関連する特徴量として F0 を用いる

識別特徴量

先行研究において，人間は 1 秒を聴取すれば 99.7%の精度で歌声か朗読音声か識別できると報告されており[2]，またその識別には音素継続時間・短時間のスペクトル・韻律の特徴が手がかりとなっていることが確認されている [2, 3]．この結果を基に基づき，以下を識別特徴[1, 2]．F0 は，yegnanarayana の提案した手法を利用して10 ミリ秒ごとに推定した [5]．短時間のスペクトル特徴として MFCC・∆MFCC を 10 ミリ秒ごとに抽出して利用した [1, 2]．

2.2 単独特徴量に基づく識別器
単独特徴量識別機の構成には，阿曽らの手法 [1] を用量に用いる [1]．

いる．まず特徴量の分布を 16 混合ガウス分布（GMM）
An Automatic Discrimination System between Singing and Speaking Voices
Using accent feature. Shinpei Aso (Kyoto Univ.), Takeshi Saitou (KanazawaUniv.), Masataka Goto (AIST), Katsutoshi Itoyama, Toru Takahashi, Tetsuya Ogata, and Hiroshi G. Okuno (Kyoto Univ.)でモデル化し，歌声・朗読音声それぞれでパラメータを学習することで，歌声・朗読音声それぞれの尤度を出す

GMM を構築する．次に平均歌声尤度から平均朗読音声

2-625

Copyright 2012 Information Processing Society of Japan.
All Rights Reserved.

情報処理学会第 74 回全国大会

尤度を減算した尤度差を出力するように構成することで

表 1: 手法一覧．呼称は実験結果図に使用する．

得られる．つまり，この識別器の出力は，歌声尤度のほ

呼称
ピーク間隔
∆F0MFCC∆MFCC
本統合法

うが高い場合は正の値，朗読音声尤度のほうが高い場合は負の値である．精度評価のための 2 値判定は符号の正負（但し，0 の時は朗読音声とする）により決定する．

2.3

識別器の重み付け統合法

識別方法説明ピーク間隔に基づく単独特徴量識別器∆F0 に基づく単独特徴量識別器
MFCC に基づく単独特徴量識別器∆MFCC に基づく単独特徴量識別器
上記 4 つの識別器の重み付け和

各単独特徴量識別器から出力される尤度差に対して重95み付けをした和を，統合尤度差とする [1]．最終的な識9085

別結果は，単独特徴量識別器同様，符号の正負により決80]%[定する．重みは学習データから事前に決定する．すなわ

75

度
精別
識

ち，識別器の学習に用いるデータに対する識別精度が高くなるように選ぶ．各識別器に対する重みを 0 から 1070

ピーク間隔65ΔF060

MFCC55までの 11 段階で変えながら（11M 通り，M は単独特徴

ΔMFCC50量識別器の数），最も識別精度（2 値判定したときの正-15-10解精度）が高くなる組み合わせを選び，総和が 1 となる-545051015←雑音大 SNR [dB] 雑音小→20

重み付け統合法

よう正規化して使用する．
図 2: SNR と識別精度の関係図. 重み付け統合法 [1] が最3. 評価実験も高い精度となっていることが分かる．

各単独特徴量識別器・重み付け統合法それぞれの，雑音を含む歌声と朗読音声の識別性能を比較評価する．手法毎に，3.1 節のデータベースに雑音信号としてホワイトノイズを加えたものを利用してクロスバリデーションにより学習・識別を行い，2 値識別結果（歌声または朗読音声）と正解ラベルを比較して別精度を算出する．手法一覧を表 1 に示す．

3.1

評価用音声データベース

評価実験には研究用音楽データベース「AIST ハミン−5 以上の時は ∆MFCC が，それ未満の時は MFCC の精度が最も高くなっている．
SNR が −5・0 の音声に対する識別精度はそれぞれ，アクセントピーク間隔が 48.3%・50.2%・，∆F0 が 68.8%・73.0%，MFCC が 71.3%・71.5%，∆MFCC が 72.0%・77.8%，重み付け統合法が 79.9%・84.2%であった．

4. おわりにグデータベース」[6] 中の，日本人による歌声（3750 音）

本稿では雑音を含む歌声と朗読音声の識別手法の精度と歌詞朗読音声（3750 音）を使用する．内訳は男性が比較を目的として，従来提案された歌声と朗読音声の自37 名，女性が 38 名で，「RWC 研究用音楽データベース:ポピュラー音楽」25 曲の出だしとサビの部分を歌った音動識別手法を用いて，雑音信号としてホワイトノイズを声と歌詞を朗読した音声である．音声の平均長は，歌声その結果，SNR が 0 で，長さが 1 秒の音声に対し，阿曽が 12 秒，朗読音声が 7 秒である．

らの重み付け統合法は 84.2%となり，従来提案された識含む音声に対する識別実験を行い，その精度を比較した。

各音声を発声開始時刻から一定時刻（1 秒）切り出し，別特徴量を単独で用いた場合に比較し，6.4%高い結果とホワイトノイズを加えたものを用いて，話者を 3 グルーなった．今後は，より現実的な場面を想定して，様々なプ，楽曲を 5 グループに分けた 15 回のクロスバリデー

雑音を含む自動識別にも取り組む必要がある．

ションで評価を行う．SNR を 20dB（雑音小）から −15dB

謝辞本研究の一部は科研費, CrestMuse，GCOE の支援を（雑音大）までの 8 段階の範囲で変化させながら，識別受けた．

精度の変化を比較する．

参考文献

3.2

実験結果

図 2 から，重み付け統合法による識別は単独特徴量識別器に比べ，雑音を含む歌声・朗読音声の識別精度が高くなることが示された．図 2 重み付け統合法が常に最も高い精度となっていることがわかる．
特徴量毎の比較を行うと，雑音が小さい時は ∆MFCC，雑音が大きい時は MFCC による識別精度が高いことがわかる．単独特徴量識別器の精度を比較すると，SNR が[1] 阿曽他：スペクトル変化量のピーク間隔・F0・MFCC を用いた歌声と朗読音声の自動識別システム，情処全大，2R-U, 2011.
[2] 大石他：スペクトル包絡と基本周波数の時間変化を利用した歌声と朗読音声の識別，情処論，Vol. 47, No. 6, pp. 1822–1830, 2006.
[3] 阿曽他：F0・音韻長・パワー制御による歌声らしさ・話声らしさの変化の 評価，情処全大，2R-U, 2011.
[4] A.P. Klapuri et al.: Analysis of the meter of acoustic musical signals,
IEEE TASLP, Vol. 14, No.1, pp. 342–355, 2006.
[5] B. Yegnanarayana et al.: Analysis of stop consonants in Indian languages using excitation source information in speech signal, ISCA
ITRW SPKD-2008, 2008
[6] 後藤他：AIST ハミングデータベース: 歌声研究用音楽データベース，情処研報，No. 82, pp. 7–12, 2005.

2-626

Copyright 2012 Information Processing Society of Japan.
All Rights Reserved.