Vol. 48

No. 1

Jan. 2007

情報処理学会論文誌

楽譜情報を用いない歌唱力自動評価手法
中

野

倫

靖†

後

藤

孝††

真

平

賀

譲†

本論文では，歌唱力を自動的に評価するシステム開発の第 1 段階として，ポピュラー音楽における歌唱力の「うまい」「へた」を，楽譜情報を用いずに自動的に識別する手法を提案する．従来，訓練された歌唱者の歌唱音声に関する音響学的な考察は行われてきたが，それらの研究は歌唱力の自動評
価に直接適用されたり，人間による評価と結び付けて検討されたりすることはなかった．本論文では，聴取者の歌唱力評価の安定性を聴取実験によって確認し，そこで得られた結果から歌唱音声に「うまい」「へた」をラベル付けして自動識別実験を行った．そのための特徴量として，歌唱者や曲に依存しない特徴であることを条件に，相対音高とビブラートの 2 つを提案する．聴取実験では，22 人の聴取者を被験者とし，聴取者間の評価に相関があった組の割合は 88.9%（p < .05）であった．また，600 フレーズのラベル付けされた歌唱音声に対して識別実験を行った結果，83.5%の識別率を得た．

An Automatic Singing Skill Evaluation Method for Unknown Melodies
Tomoyasu Nakano,† Masataka Goto†† and Yuzuru Hiraga†
As a first step towards developing an automatic singing skill evaluation system, this paper
presents a method of classifying singing skills (good/poor ) that does not require score information of the sung melody. Previous research on singing evaluation has focused on analyzing
the characteristics of singing voice, but were not directly applied to automatic evaluation or
studied in comparison with the evaluation by human subjects. In order to achieve our goal,
two preliminary experiments, verifying whether the subjective judgments of human subjects
are stable, and automatic evaluation of performance by a 2-class classification (good/poor ),were conducted. The approach presented in the classification experiment uses pitch interval
accuracy and vibrato as acoustic features which are independent from specific characteristicsof the singer or melody. In the subjective experiment with 22 subjects, 88.9% of the correlation between the subjects’ evaluations were significant at the 5% level. In the classification
experiment with 600 song sequences, our method achieved a classification rate of 83.5%.

歌唱理解に関する研究はあったが，それを歌唱力の自1. は じ め に

動評価につなげた研究事例はなかった．歌唱音声の特本研究では，人間の歌唱理解能力を備えたシステム

性としては，Singer’s Formant ☆ が存在すること1),2) ，開発の一環として，楽譜情報を用いない歌唱力自動評

基本周波数（以下，F0 と呼ぶ）には歌唱音声特有の価手法を実現することを目的とする．歌唱力の自動評変動があること3),4) が明らかとなっている．また，人価は様々なアプリケーションで有用であり，たとえば，間の歌唱理解に関しては，歌声知覚における心理的特歌唱の評価が低い原因を提示することで歌唱力向上を徴の分析5),6) と音響特徴量との関連付け6) ，歌声らし支援するシステムが実現できる．さらに，どのようなさを特徴付ける F0 軌跡に関する考察7) ，朗読音声とメロディにも有効な音響特徴量を明らかにできれば，歌唱音声の人間の識別能力に関する調査と自動識別8) ，それを音楽情報検索の検索キーとして活用できる可能

歌唱音声の音響解析に基づく歌唱力評価の考察9)〜12) ，性がある．

などの研究事例がある．ほかにも，歌唱の生成における議論として，歌唱の F0 制御モデルの提案7),13) ，歌

従来，歌唱音声の特性を明らかにする研究や，人間の声生成の総合的かつ詳細な検討14) などがある．
本論文では，歌唱力を自動的に評価するシステム開† 筑波大学大学院図書館情報メディア研究科
Graduate School of Library, Information and Media
Studies, University of Tsukuba†† 産業技術総合研究所
National Institute of Advanced Industrial Science andTechnology (AIST)

発の第 1 段階として，ポピュラー音楽における人間の☆

227

男性声楽歌手の母音（有声音）において 2.5 kHz から 3 kHz の範囲に発生するフォルマント1) ．女性歌手についても，4 kHz付近に顕著なピークが観察される場合がある2) ．

228

Jan. 2007

情報処理学会論文誌

歌唱力評価を調査し，その結果をもとに「うまい」「へた」を自動識別する手法を提案する．特に，原曲を知らない聴取者の歌唱力評価と，楽譜情報が未知であっても有効な音響特徴量を対象とする．人間の歌唱力評
価を調査するのは，人間の評価に安定性があることの確認と，歌唱力評価において着目すべき特徴の検討のためである．自動識別では，聴取実験で明らかになった特徴のうち，原曲や歌唱者の違いに左右されない相対音高とビブラートに関する音響特徴量を用いる．
以下，2 章で人間による歌唱力評価実験について述

図 1 実験画面と順序付けの例（スピーカのマークは，ダブルク
リックすると歌声が再生され，ドラッグすると移動する）
Fig. 1 Example subjective evaluation session using theinterface screen.

べ，3 章で自動評価のための特徴を提案して識別実験を行う．最後に，4 章でまとめと今後の研究について述べる．

2. 歌唱力評価の聴取実験6(ai − bi )2
3
N −N
N

ρ=1−

(1)

i=1

ここで，ai と bi は順位ベクトル a と b における要歌唱力の自動評価手法を実現することを目的として，

素 i の順位を表す．ρ は，2 つの順序が一致するとき

人間による歌唱力の評価が安定していることを示し，には 1 に，互いに逆順であれば −1 になる．N が 10

人間が着目している歌唱力の特徴を検討する．実験での場合は ρ ≥ 0.7333，ρ ≥ 0.5636 であればそれぞれ，は，複数の歌唱者の歌唱音声（伴奏なし）について，

危険率 1%水準・5%水準で有意な相関がある17) ．

聴取者が原曲を知らない条件で歌唱力を評価させた．

2.2 歌唱力評価用インタフェース

聴取者間の評価に高い相関があれば，人間による歌唱

各刺激を何度も比較聴取しながら，それぞれの順

力評価は安定しているといえる．人間が着目している

位を変更しやすいように，図 1 に示すようなインタ

歌唱力の特徴は，聴取者の内省報告をもとに検討する．

フェースを用意した．図におけるスピーカのマークがまた，聴取者による評価結果を自動評価に利用するた各曲刺激を表し，マークにコメントを付けることもでめに，それぞれの歌唱音声に対して「うまい」「へた」

きる．順位付けにはインタフェースの横軸のみを用い，のラベル付けを行う．

縦軸には特に意味を持たせていない．

2.1 歌唱力評価のための尺度

被験者は，ランダムに配置された 10 個の曲刺激（図 1

声を評価する従来の取り組みとしては，英語発音の左：A, B, . . . , J）を，右ほどうまく，左ほどへたで自動評価があり，自動的に算出した発音の評価値と，あるようにマウス操作で並べ替える（図 1 右では，H

聴取者による n 段階評価（n = 5，7 など）の評価値のが最もうまく，B が最もへたと評価されている）．

相関を求める方法がとられていた15),16) ．しかし，歌唱力評価の場合，聴取者の音楽経験の違いなどが原因

2.3 被 験 者
実験で使用する曲刺激を初めて聴取する 22 人の大で，評価値の基準が聴取者によって異なる可能性，基学生の男女（19 歳〜29 歳）を被験者とし，11 人ずつ準が同一でもその距離感（ある 2 つの歌唱の定量的なの 2 つのグループ（A，B）に分けて実験を行った．

評価値の差）が聴取者によって異なる可能性がある．

被験者 22 人中，16 人が楽器演奏経験者，2 人がボー

そこで，そのような問題を回避するために，順位法

カル・合唱経験者，4 人が絶対音感があると申告をした．

による評価を行う．順位付けによって評価をすれば，

2.4 刺激および装置

その順序関係さえ一定であれば対処でき，距離尺度の曲刺激としての歌唱音声は，AIST ハミングデータ

違いを吸収した評価値が得られることが期待できる．

ベース（AIST-HDB）18) と RWC 研究用音楽データ

本研究では，2 つの順序の類似性を測るためにベース（RWC-MDB）19) から抜粋して使用した．本

Spearman の順位相関係数 ρ を用いた17) ．要素数がN の（同順位のない）順序を a = (a1 , a2 , . . . , aN ) の実験で AIST-HDB から用いたデータは，ポピュラー

ような順位ベクトルとして表現すると，2 つの順位ベカ所を抜粋して，その曲を初めて聴く被験者が 5 回聴

クトル a と b の順位相関係数 ρ は，次式によって定いた後に，思い出しながら歌う音声を収録したもので義される．

ある．歌唱時には歌詞のみを提示し，楽譜は提示して音楽データベース（RWC-MDB-P-2001）から 4 曲 8

いない．したがって，本来は「うまい」歌唱者でも，思Vol. 48

No. 1

表 1 聴取実験に用いた 40 人による計 80 個の曲刺激
Table 1 80 stimuli (by 40 singers) used in the subjective
experiment.
グループ

A

B

229

楽譜情報を用いない歌唱力自動評価手法

曲番号

抜粋箇所

No.27
No.28
No.90
No.97
No.27
No.28
No.90
No.97

出だし
出だし
出だし
サビ

言語

性別

グループ

男
女
男
女

言語

性別

日本語
男
日本語
女
英語
男
英語
女
overall (220)

刺激数

10 人分
10 人分
10 人分
10 人分
サビ
日本語
男
10 人分
サビ
日本語
女
10 人分
サビ
英語
男
10 人分
出だし
英語
女
10 人分
※曲番号は RWC-MDB-P-2001
日本語
日本語
英語
英語

表 2 有意に相関があった組の割合
Table 2 Percentage of significant pairs.

A

日本語
男
日本語
女
英語
男
英語
女
overall (220)B

overall (440)p < .01
96.4% (53)
74.6% (41)
61.8% (34)
41.8% (23)
68.6% (151)
45.5% (25)
72.7% (40)
52.7% (29)
74.6% (41)
61.4% (135)
65.0% (260)p < .05
100.0% (55)
90.9% (50)
89.1% (49)80.0% (44)90.0% (198)
72.7% (40)
98.2% (54)89.1% (49)
90.9% (50)
87.8% (193)
88.9% (391)

い出しながら歌っているという点で，収録されたデー
タは「うまくない」可能性もある．
被験者はそれぞれ，歌詞の言語と歌唱者の性別，曲の種別が異なる 4 曲分それぞれ 10 歌唱ずつの曲刺激（40 個）を聴取する（表 1）．各曲刺激は 10 人の歌唱者が同一曲を歌ったものであり，AIST-HDB から 9
個，RWC-MDB-P-2001 から 1 個の歌唱（ただし，伴奏のない歌声）を使用した．グループ A，B それぞれの刺激セット（4 曲分）は，同じ歌唱者群（40 人）が同じ曲の異なる部分（出だし/サビ）を歌ったものであり，被験者は A，B どちらか 1 つの刺激セットを評価する．曲刺激（80 個）の平均長は 12.5 sec であった．

図 2 ρ 行列の濃淡表示
Fig. 2 Graphical display of the ρ-matrix.

呈示する曲刺激は 16 kHz/16 bit サンプリングのモ
ノラル音声信号である．音量の違いによる聴取印象の変化を抑えるために振幅最大値を統一し，十分聴きや

表 3 順位相関係数 ρ の統計量
Table 3 Statistics values of Spearman’s ρ.

すい一定の音量でヘッドフォン聴取させた．

2.5 実 験 手 順
被験者は実験に関する教示を受けた後，4 曲それぞ

グループ

言語

性別

れについて，10 人分の歌唱を比較聴取しながら並べ

A

日本語
日本語
英語
英語

男
女
男
女

B

日本語
日本語
英語
英語

男
女
男
女

替える．曲の呈示順は，被験者ごとにランダムとした．
ここで，被験者には，以下のような教示を行った．

• 同順位がないように並べ替えること• 横軸に沿って歌唱力の順位付けを行うこと

平均
0.87
0.77
0.75
0.69
0.64
0.81
0.73
0.76

標準偏差

最大
最小
0.07
0.99 0.71
0.14
0.95 0.38
0.14
0.96 0.28
0.14
0.98 0.42
0.22
0.98 0.03
0.13
0.99 0.39
0.14
0.98 0.36
0.14
0.96 0.36※それぞれ 55 組から計算• 歌唱力の差を間隔で表現すること• 縦軸には意味がなく，自由に使ってよいこと• 何度も聴取し，比較しながら並べ替えることすると，相関があった組の割合は表 2 のようになった．

すべてを並べ替えた後，4 曲それぞれに対し図 1 右

これは，各グループの 4 曲それぞれに 11 人の評価があ

1
2 のような 2 本の線を引いてもらった．これは，の
1 より右が「うまい」，
2 より左が「へた」となるよるため，55 組（= 11×10/2）の相関を計算した結果である．一例として「グループ A/英語歌詞/女性歌唱者」

うに引かせたものである（図 1 右では，うまい = H，を評価した場合の ρ を濃淡で示す（図 2）．ただし，最I，へた = B，F，D）．

小の ρ が 0.42 であったため，0.4（白）≤ ρ ≤ 1（黒）最後に，歌唱力の評価基準に関する内省報告をとっ
た．

2.6 結
果
被験者間の順位付けに対して順位相関係数 ρ を計算として表示している．表 3 には，55 組の ρ の統計量
（平均，標準偏差，最大，最小）をそれぞれ示す．
また，得られた結果を自動評価に利用するために，
以下のような基準で，40 人の歌唱者による計 80 個の230

Jan. 2007

情報処理学会論文誌
表 4 うまい/へたのラベル付け結果
Table 4 Results of labeling (good/poor).

グループ

言語

性別

うまい

A

日本語
日本語
英語
英語

男
女
男
女

B

日本語
日本語
英語
英語

男
女
男
女

3/10
3/10
4/10
3/10
1/10
3/10
2/10
3/10

へた
2/10
3/10
2/10
2/10
3/10
3/10
2/10
4/10

それ以外

5/10
4/10
4/10
5/10
7/10
4/10
6/10
3/10

曲刺激に「うまい」「へた」のラベル付けを行った．
うまい
被験者による最多得票が「うまい」であり，「へた」への得票がなかった曲刺激．
へた
被験者による最多得票が「へた」であり，「うま表 5 歌唱力評価に関する内省報告
Table 5 Introspective reports about singing skill
evaluation.
分類
評価基準の
重要性

声質（声量，声の伸び・張り）> 音程 > リズム
音程 > リズム > フレーズ感 > 声量・声質
リズム > 音程 > 声質（“>” の左側ほど重視）

声質・音色

楽しそうな曲は楽しそうに歌ってほしい．
声が明るい方が良い．暗いと評価が下がる．
無理に高音を出そうとしていると評価が下がる．
苦しそうに歌うと評価が低い．
声量が足りないと評価が下がる．
声に張りや艶があると評価が高い．

発音

歌はメッセージを伝えるので，良い発音が必要．

音程

歌いたい音程を歌えているかどうか．
1 つの音符を同じ高さで歌えているかどうか．
強調して歌っている音がずれると減点．

リズム

一定のリズムを崩していないか．

キー

キーの違いは評価に反映しない．
声（キー）が高い人の方が評価が高くなる．

テクニック
スキル

ビブラートがあると評価が高くなる．
音が急に変わるところで滑らかに歌えるか．
単語が変なところで伸びていると評価が低い．
歌らしくない歌（朗読，棒読み）は評価が低い．
感情移入していると評価が高い（抑揚・声質）．
声が伸びるときに音がフラットだと評価が下がる．
音の終わり方（伸ばし方）が良いと評価が高い．
節回しが不自然な人の評価を低くした．

評価方法

うまい/へたは，聴いてすぐ分かる（3〜5 秒）．
まず，うまい/へたの 2 グループに分割した．
評価のために正解楽譜が欲しい．

い」への得票がなかった曲刺激．
ラベル付けの結果を表 4 に示す．
最後に，人間が着目する歌唱力の特徴を明らかにするために，内省調査によって得られたコメントを，その内容に応じて分類しながらまとめた結果を表 5 に示す．ただし，音高（ピッチ）の正確さに関するコメ
ントは，いずれの被験者も音程という用語で表現していた．これは，一般的にヴォーカリストが音をはずしたときに “音程が悪い” といういい方をするためと考
えられる．

2.7 考

コメント例

好み

掠れながら歌う歌が好き．
好みが評価に影響する．

察

歌詞の言語と歌唱者の性別，曲の種別一定の条件にでは，まず（最初の数秒で）「うまい」か「へた」か

おいては，表 2，表 3 に示すように被験者間の評価にを判断してからより詳細な評価を行っている可能性が高い相関があり，人間による歌唱力評価は安定していあり，自動評価において，「うまい」「へた」を識別することが分かる．これに対し，評価基準の重要性は被る手法の開発は重要だと考えられる．

験者で異なり，好みが評価に影響するというコメントがあった（表 5）．しかし，それにもかかわらず被験者

3. 歌唱力の自動評価手法

間で評価は一定であったことから，歌唱力は個々人の本章では，12 人の歌唱者による 100 種類のメロディ

評価基準の違いや好みに依存せずに，客観的に評価での歌唱全 600 サンプルに対して，前章で得られた結果

きるといえる．すなわち，歌唱力の自動評価は可能でに基づいて「うまい」「へた」のラベル付けをしたデー

あり，
「うまい」
「へた」のラベル付けの結果は，自動タを対象に，歌唱力評価手法の評価実験を行う．使用評価手法を評価するための正解として利用できる．

する歌唱サンプルは，16 kHz/16 bit サンプリングのまた被験者は「声質」，
「発音」，
「音程」，
「リズム」，

モノラル音声信号である．

省報告であり，厳密な定義に基づいて得られた指標で3.1 音響特徴量の抽出表 5 からは歌唱力を評価するうえで様々な音響特徴
量が考えられるが，その中でも，歌唱力評価においてはないが，歌唱力を評価するうえで重要な知見となる．

重要であり，歌唱者の個人性や曲の種別への依存が少「テクニック」に関係する特徴に着目していることが分かった．これらは，（非専門家である）被験者の内興味深いコメントとして「うまい/へたは，聴いてすないと考えられる，相対音高とビブラートに着目する．

ぐ分かる（3〜5 秒）」，
「まず，うまい/へたの 2 グルー

本章で提案する特徴量は， n のように，特徴量のプに分割した」があった．すなわち，人間による評価

番号を示す n を四角で囲んで示す．また，周波数は

Vol. 48

No. 1

231

楽譜情報を用いない歌唱力自動評価手法

すべて対数スケールで示し，cent 単位で表す．西洋平
均律では，半音が 100 cent にあたる．中央ハ音の周波3数 fc（= 440 × 2 12 −1 = 261.62 . . . Hz）の cent 値を4800 cent とすると，周波数 fHz の音の cent 値 fcent
は

fcent = 1200 log2

fHz
fc



+ 4800(2)で表される．

3.1.1 相 対 音 高
音高の正確さを評価する場合，楽譜情報が既知であり，伴奏などの基準音高が明確なら，歌唱音声の基本周波数（F0 ）を楽譜上の各音に対応する音高と照合すればよい．従来，カラオケにおける自動採点システム
では，このような方法がとられていた20) ．しかし，本論文の問題設定では，楽譜情報が未知であり，かつ，
歌唱者がどういう絶対音高で歌っているかは固定され

図 3 Pg (F, t) の算出方法
Fig. 3 Overview of calculation method of Pg (F, t).

ていないため，このような照合を行うことができない．
そこで，相対音高に着目して評価を行う．西洋平均律を前提にすれば，相対音高が半音（100 cent）単位でを用いて 10 msec ごとに推定した．

 t

あるかを調べることで，歌唱対象の楽譜情報に依存せPg (F, t) =ずに音高の正確さを評価できる．

p(F0 (τ ); F )PF 0 (τ )dτ

(4)

t−T

音声の F0 がどれだけそのグリッド上に存在するかを

A には
Pg (F, t) の計算手順を図 3 に示す．図 3 
B には F0 (t) をカットオフ周波数 5 Hz
F0 (t) を，図 3 のローパスフィルタによって平滑化☆ した後に無音区間見ればよい．すなわち，ある時刻の F0 （x cent）が，を切り詰めたものを表示している．平滑化を行うのは，歌唱音声の F0 が半音単位で遷移できているかを評価するには，100 cent 間隔のグリッドを配置し，歌唱

オフセット F （0 ≤ F < 100）からのグリッド周波数

歌唱音声の F0 特有の変動（ビブラートやオーバシュー（F, F + 100, F + 200, . . .）にどれだけ適合しているトなど）7) による影響を除去するためである．Pg (F, t)

かを評価する．

は，200 点（2 sec = T ）の矩形窓を 5 点（50 msec）ず

そのために，コムフィルタの考え方に基づいたフィCD
E に，F = 19 とつシフトさせて算出した．図 3 

ルタ p(x; F ) を用いる．p(x; F ) はオフセット F から

F = 78 の場合のグリッド，p(x; F )，Pg (F, t) の計算
結果をそれぞれ示す．この例では，F = 19 が F = 78

100 cent ごとに大きな重みを与える関数であり，次式のような混合ガウス分布で定義する．

∞p(x; F ) =(x−F −100i)
ωi
√
exp −
2σi2
2πσ
i
i=0


2

(3)

よりもよく適合している．
仮に F0 が 100 cent の整数倍で遷移していれば，Pg (F, t) は，それに応じたオフセットに鋭いピークを1 つ持つ．しかし，100 cent 以外の遷移が増えるにつれて，ピークが鋭くなくなったり 2 つ以上出現したり

現在の実装では，すべての i について，重み ωi = 1，

する．F0 が半音単位で遷移できている場合には，そ

標準偏差 σi = 16 cent としている．

の長時間平均 g(F ) も同様のピークを持つことが期待

このようなフィルタ p(x; F ) を用いて，時刻 t におできる（図 4）．すなわち，g(F ) のピークの鋭さを評いてオフセット F からのグリッド上に F0 が存在す

価することで，音高の正確さを評価できる．そこで，る可能性 Pg (F, t) を式 (4) のように定義し，時刻 t を

鋭いピークであれば値が小さくなるような，次式に示終端とする窓幅 T の矩形窓をシフトさせながら算出

す 2 次モーメント M を特徴量 1 とする．

する．式 (4) で，F0 (t) は時刻 t における F0 ，PF 0 (t)は時刻 t において F0 (t) が F0 周波数である可能性（高調波構造が相対的にどれだけ優勢かを高調波構造
上のパワーから算出した値）であり，後藤らの手法21)☆

FIR フィルタを使用し，F0 推定のオクターブエラーや無音区間
による不自然な平滑化を避けるために，無音や閾値（300 cent）
以上の周波数変化がない区間のみを用いて平滑化を行う．

232

Jan. 2007

情報処理学会論文誌

図 4 うまい歌唱とへたな歌唱の Pg (F, t) とその長時間平均 g(F )Fig. 4 Examples of Pg (F, t) and its long-term averageg(F ) in good/poor singing.

図 5 ビブラートパラメータの抽出
Fig. 5 Extraction parameters for vibrato detection.

1
1 
Rn
=
·
rate
N
N

 Fg +50
M=

(8)

n=1

(Fg − F )2 g(F )dF(5)

Fg −50

1 
·
En
2N
N

extent =(9)n=1

ここで，Fg は g(F ) を最大にする周波数であり，g(F )として求め，それぞれの制限範囲を 5〜8 Hz と 30〜

は [Fg − 50, Fg + 50] の範囲の和が 1 となるように正150 cent とした．これらの値の範囲は，ビブラートパ

規化する．ただし，g(F ) = g(F ± 100) である．

ラメータに関する声楽での調査結果22) と，ポピュラー

また，g(F ) の傾斜を直線近似した傾き bg も特徴
量 2 として追加する．そこで，g(F ) を Fg で折り返した以下の関数 G(F )：g(Fg + F ) + g(Fg − F ),2(0 ≤ F ≤ 50)

G(F ) =

音楽での調査結果23) を参考にして決定した．
ビブラート区間は，3.1.1 項で求めた F0 (t) の 1 次
差分 ∆F0 (t)（10 msec ごと）に短時間フーリエ変換(6)（STFT）を行うことで検出する．32 点（320 msec）のハニング窓を用いた STFT で得られる振幅スペク
トルを X(f, t) とすると，ビブラートの速さに対応すを最小自乗法で直線近似する．すなわち，ag と bg をる周波数成分が他の周波数成分よりも支配的で，かつパラメータとして次式を最小化することで bg を得る．

鋭いピークとなるはずである．そこで，速さの下限を

errg2 = 50

(G(F ) − (ag + bg F ))2 dF(7)0

3.1.2 ビブラート

FL ，上限を FH としたとき，時刻 t におけるビブラー
ト速さの周波数帯域のパワー Ψv (t) とピークの鋭さ

Sv (t) を FH

ビブラートとは，主に音を伸ばすときに周期的に音高を変化させる（揺らす）歌唱テクニックであり，熟Ψv (t) =

達した歌唱者が頻繁に用いる重要なテクニックである．
音高の周期的な変化の有無さえ適切に検出できれば，歌唱対象の楽譜情報に依存せずに用いることができるX̂(f, t)df
FL
FH

Sv (t) =FL ∂ X̂(f, t)  ∂f  df

(10)
(11)

ため，歌唱力評価に効果的な音響特徴量といえる．

として定義する．ここで，X̂(f, t) は，次式に示すよ再現率よりも精度を重視して検出を行うために，速うに，各時刻 t ごとに全周波数帯域のパワーで正規化

さ（rate：毎秒に生じる揺らぎの回数）と，変調幅したものである．

（extent：ビブラート区間の平均音高を中心とした変X(f, t)(12)
X(f, t)df
これらを用いて，時刻 t におけるビブラートらしさ
Pv (t) を，
Pv (t) = Sv (t)Ψv (t)(13)

動の幅） に，それぞれ制限を加える．速さと変調幅☆

は，図 5 に示すパラメータ（Rn [sec]，En [cent]）を抽出し，

X̂(f, t) = のように定義する．

Pv (t) が大きく，速さと変調幅が制限内で，さらに，☆

extent は振幅と訳されることがあるが，amplitude との混同を避けるために，本論文では変調幅とした．

F0 (t) がその平均音高と 5 回以上交差する区間をビブラートとして判定した．ビブラートの検出例を図 6 に

Vol. 48

No. 1

233

楽譜情報を用いない歌唱力自動評価手法

表 6 識別実験に用いたデータセット
Table 6 Dataset for classification experiment.
歌唱者名

クラス

言語

性別

サンプル数

E004
E008
E017
E021
J002
J054
E001
E002
E013
E023
J014
J052

うまい
うまい
うまい
うまい
うまい
うまい

英語
英語
英語
英語
日本語
日本語

女
女
男
男
女
男

へた
へた
へた
へた
へた
へた

英語
英語
英語
英語
日本語
日本語

女
女
男
男
女
男

50
50
50
50
50
50
50
50
50
50
50
50

図 6 ビブラートの検出例
Fig. 6 An example of vibrato detection.

示す．特徴量には，検出された全ビブラートの区間長の総和（ 3 ），Pv (t) の最大値（ 4 ）と平均値（ 5 ）を用いた．これらは，ビブラートが存在する歌唱において大きな値をとると考えられる．

3.2 識 別 実 験
聴取実験より，聴取者間の歌唱力評価には高い相関

ピュラー音楽データベース（RWC-MDB-P-2001）と音楽ジャンルデータベース（RWC-MDB-G-2001）かがあることが明らかになったが，その評価は聴取者間ら 50 曲 100 カ所（日本語曲 25，英語曲 25）を抜粋

で完全には一致しなかった（表 3）．これは，高い（低して，その曲を初めて聴く被験者が 5 回聴いた後に，い）歌唱力を持つ歌唱音声が逆の評価をされることは思い出しながら歌う音声を収録したものである．

ほとんどないが，同程度の歌唱力を持つ歌唱音声はそ

データセットの歌唱音声を実際に聴取したところ，の評価が細かく変動することを意味する．したがって，「うまい」にラベル付けされた歌唱のいくつかは，思明らかに異なる歌唱力の差を識別できる特徴量が歌唱

い出し歌唱であることが原因でピッチやリズムがやや力評価には有効だといえる．このような識別手法の必不安定なものもあるが，「うまい」と感じられるもの

要性は，2.7 節において内省報告の結果からも考察しであった．逆に，「へた」にラベル付けされた歌唱は，た．そこで本節では，提案した特徴量（ 1 – 5 ）の有

へたといえる歌唱がほとんどであった．

効性を，
「うまい」
「へた」の 2 クラス識別実験によっ

3.2.2 実 験 条 件て評価する．

識別実験には，データセットのサンプルすべてを訓3.2.1 データセットの生成（ラベル付け）

練用とする実験（Closed 実験）と，データセットを評

識別実験のデータセットとして，2.4 節の表 1 のサ

価用と訓練用に分割し，評価用を順に変えながら識別

ンプルの中から「うまい」「へた」にラベル付けされ率を評価する Cross-Validation 法（Open 実験）の 2

たサンプルだけを抜き出すと，表 4 に示すように，各種類を行った．Open 実験では，評価用を 1 サンプル

メロディに対して 5，6 サンプルしか使用できず，サずつ変えながら，訓練用は残りの全サンプルから評価

ンプル数が計 43 サンプルと少なくなってしまう．

用と同一曲ないし同一歌唱者が含まれないように構成

そ こ で ，AIST ハ ミ ン グ デ ー タ ベ ー ス（AISTHDB）18) では，同一歌唱者が複数のメロディを歌ってした．

いる特長を生かして，サンプル数を増やす．すなわち，「うまい」「へた」を，原曲のメロディや歌唱者に依存聴取実験で「うまい（へた）」とラベル付けされた歌唱

せずに識別できることを明らかにする．Closed 実験

音声を歌った歌唱者をうまい（へたな）歌唱者として，で得られた識別率は，提案した特徴量での識別性能

これらの実験では，提案した特徴量が歌唱音声の彼らが歌った AIST-HDB 中の他のサンプルについての上限を表すので，これが低ければそもそも提案したも同様のラベル付けを行う．ただし，すべてのデータ

特徴量は「うまい」「へた」を分離できていないことが聴取者によって評価されていないため，このようにになる．そのうえで，Open 実験で得られた識別率がして付けたラベルが正しいとは限らない．そこで，そのClosed 実験と同程度に高ければ，提案した特徴量にようなラベル誤りをできるだけ減らすために，評価のより原曲のメロディや歌唱者に依存せずに歌唱力を評高かった（低かった）歌唱者 1，2 人にのみラベルを付価できるといえる．

与してデータセットとする．そのようにして生成した識別器には，ソフトマージン法による線形 SVM

12 人の歌唱者による歌唱全 600 サンプルを表 6 に示す．これらは，RWC 研究用音楽データベース19) のポ（Support Vector Machine）24) を用い，LIBSVM 25)
によって実装した．

234

情報処理学会論文誌

Jan. 2007

3.2.3 実 験 結 果
特徴量の有効性は，識別率（C ）と「うまい」「へは，Closed 実験で 86.2%（表 7），Open 実験ではた」の精度（Pi ）・再現率（Ri ）によって評価した．

も高い識別性能が得られたことから，提案した特徴量

ここで i = {good, poor} はクラスを表す変数であは歌唱力の「うまい」「へた」を識別するうえで有効り，classgood がうまい歌唱サンプルが属するクラス，

であり，原曲のメロディや歌唱者に依存せずに歌唱力classpoor がへたな歌唱サンプルの属するクラスである．Pi ，Ri ，C は，それぞれ以下のように定義する．

の評価ができることが確認された．

83.5%（表 8）の識別率が得られた．どちらの実験で・再現率（Ri ）の関係において，全条件
精度（Pi ）

classi へ正しく識別したサンプル数
× 100classi として識別したサンプル数(14)classi へ正しく識別したサンプル数
Ri =
×100
classi の総サンプル数(15)
正しく識別したサンプル数
C=
× 100
総サンプル数(16)
Rgood + Rpoor=
2
データセットを「男性のみ（300）」「女性のみ（300）」で Pgood と Rpoor が高い値となり，Pgood > Ppoor ，Rgood < Rpoor であった．これは，「うまい」歌唱を高い精度で識別できるが，本来「うまい」歌唱を「へた」「全サンプル（600）」と変えて実験を行った結果を，表 7まい」歌唱者でもピッチが不安定となる場合や，ビブ（Closed 実験）と表 8（Open 実験）にそれぞれ示す．

ラートがなかったり範囲の制限を満たさずに検出されさらに，データセットを「全サンプル」とした，Openない場合が多かった．「へた」な歌唱者が音を伸ばし実験における歌唱者ごとの再現率を図 7 に示す．

た際に意図せずに声が揺れて，ビブラートと検出されPi =3.2.4 考察

表 7 Closed 実験の結果
Table 7 Results of the Closed experiment.

C
91.3%
82.7%
86.2%

Pgood
98.4%
90.2%
90.3%

Rgood
84.0%
73.3%
81.0%

Ppoor
73.3%
61.8%
73.4%

Rpoor
98.7%
92.0%
91.3%

C
87.7%
71.7%
83.5%

が，それのみでは歌唱力評価に必要な他の要因（たとえば，発声やリズムなど）を反映できない場合がある
ために，このような結果となったと考えられる．
誤識別の原因としては，3.2.1 項で述べたように歌
唱音声の収録条件が思い出し歌唱であるために，「う

Pgood
93.8%
74.8%
87.6%

Rgood
80.7%
65.3%
78.0%

Ppoor
70.8%
58.0%
70.3%

データセットを「女性のみ」とした場合だけ，他の場合に比べて性能が大きく低下していたので，ここではさらに，その原因を詳しく考察する．6 人の女性歌
唱者中，2 つの実験での識別率において，「うまい」歌
唱者 E008 の性能の低下（68% → 54%）と，「へた」
な歌唱者 E002 の性能の低下（84% → 56%）が大き「うまい」歌唱でビブラートは多くかった．E008 は，検出されたものの，F0 が適切に半音間隔で遷移して

表 8 Open 実験の結果
Table 8 Results of the Open experiment.

Dataset
男性のみ
女性のみ
全サンプル

ち，提案した特徴量は「うまい」の判定に有効であるて誤識別することもあった．

データセットを「全サンプル」とした識別実験で

Dataset
男性のみ
女性のみ
全サンプル

として誤識別する場合も多いことを意味する．すなわ「へた」な歌唱でピッチいないことが多く，E002 は，
Rpoor
94.7%
78.0%
89.0%

は不安定だったものの，声が震えてビブラートが検出されることが多かった（きれいな揺れではないが，ビブラートとして聴こえるサンプルが多かった）．そのため，この 2 人の歌ったサンプルの多くが，特徴空間上で重なった分布となってしまったことが，Open 実
験での性能低下の原因と考えられる．
データセットを「全サンプル」としたときに識別率の低下が抑えられたのは，サンプル数が増えたことで安定した識別面が学習できたためだと考えられ，今後
このような性能の低下を回避するためには，訓練用サ
ンプル数を増やすか，相対音高やビブラート以外の特

図 7 データセットを「全サンプル」とした場合の歌唱者ごと再現率（Open 実験）
Fig. 7 Recall rates (by singer) of “all samples” dataset in
the Open experiment.

徴量を用いる必要がある．

4. お わ り に本研究では，曲の種別（メロディ）・歌唱者の性別・Vol. 48

No. 1

楽譜情報を用いない歌唱力自動評価手法

歌詞の言語が一定の条件では，聴取者の評価に高い相関があることを明らかにし，人間が着目する特徴について考察した．また，楽譜情報を用いずに抽出できる，曲や歌唱者に依存しない相対音高とビブラートに関する有効な特徴量を提案した．
なお，このほかにも，本研究の一環として長時間平
均スペクトルの傾斜や，Singer’s Formant の周波数帯
域のパワー，低次元ケプストラムの変動，調波成分が含まれる割合，Spectral Centroid や Spectral Rolloﬀの平均，F0 やパワーの変動などを特徴量として試みてきたが，いずれも本論文での識別率を上回っていない．
今後は，メロディ・性別・言語の組合せが異なる場
合について聴取者の歌唱力評価を調査し，また，曲や歌唱者に依存しない発声やリズムに関する音響特徴量を検討していく予定である．
謝辞 本研究の聴取実験に関してご助言をしていた
だいた山本那美氏，自動評価手法に関して有益な議論をしていただいた亀岡弘和氏，聴取実験に参加していただいた被験者の方々に感謝いたします．本研究
では，RWC 研究用音楽データベース（ポピュラー音
楽 RWC-MDB-P-2001，音楽ジャンル RWC-MDB-G-

2001），AIST ハミングデータベースを使用しました．

参

考 文

献

1) Sundberg, J.: The Science of the Singing
Voice, p.226, Northern Illinois University Press(1987).
2) 中山一郎，小林範子：歌の声―音質の魅力と問題点，日本音響学会誌，Vol.52, No.5, pp.383–388(1996).
3) 矢田部学，遠藤康男，粕谷英樹，神戸孝夫：歌
声の基本周波数の動特性，日本音響学会平成 10
年度秋季講演論文集 3-8-6, pp.383–384 (1998).
4) 矢永龍一郎，河原英紀：会話音声と歌声音声の基本周波数制御の動特性について，情報処理学
会研究報告音楽情報科学（SIGMUS），Vol.2003,
No.082, pp.71–76 (2003).
5) 西内美登里，大串健吾：専門家と非専門家の歌声の評価，日本音響学会聴覚研究会資料，H-90-1,
pp.1–6 (1990).
6) 辻 直也，赤木正人：歌声らしさの要因とそれに関連する音響特徴量の検討，日本音響学会聴覚研究会資料 H-2004-8, Vol.34, No.1, pp.41–46(2004).
7) 齋藤 毅，鵜木祐史，赤木正人：歌声の F0 動的変動成分の抽出と F0 制御モデル，日本音響学会聴覚研究会資料，Vol.31, No.10, pp.683–690(2001).
8) 大石康智，後藤真孝，伊藤克亘，武田一哉：局所的・大局的な特徴を利用した歌声と朗読音声の識別，

235

情報処理学会研究報告音楽情報科学（SIGMUS），
Vol.2005, No.82, pp.1–6 (2005).
9) 津田弘樹，森山 峻，福間 彰：3D 解析による歌声の評価に関する研究，電子情報通信学会情報・システムソサイエティ大会 D-458, p.461 (1996).
10) 池田 操：音響分析による歌曲「赤とんぼ」の歌唱評価，上越教育大学研究紀要，Vol.17, No.1,
pp.395–407 (1997).
11) 片岡靖景，伊東一典，池田 操，中澤達夫，米沢義道，今関義弘，橋本昌己：歌唱支援システム構
築のための歌声の分析と評価，情報処理学会研究
報告音楽情報科学（SIGMUS），Vol.98, No.74,
pp.23–30 (1998).
12) 池田 操，伊東一典：音楽科学生と一般学生の歌声の音響分析と評価―シンガーズ・フォルマントを指標として，上越教育大学研究紀要，Vol.19,
No.2, pp.493–509 (2000).
13) 柏野邦夫，村瀬 洋：パート譜を用いたボーカ
ル音分離システム，日本音響学会平成 10 年度春
季講演論文集 2-9-1, pp.625–626 (1998).
14) 河原英紀，片寄晴弘：高品質音声分析変換合成システム STRAIGHT を用いたスキャット生成研究の提案，情報処理学会論文誌，Vol.43, No.2,
pp.208–218 (2002).
15) Franco, H., Neumeyer, L., Digalakis, V. andRonen, O.: Combination of Machine Scoresfor Automatic Grading of Pronunciation Quality, Speech Communication, Vol.30, pp.121–130(2000).
16) 中村直生，中川聖一：日本人の英語発音の評価法，
電子情報通信学会研究報告 SP2002-20, pp.51–58(2002).
17) Kendall, M. and Gibbons, J.D.: Rank Correlation Methods, 5th edition, p.260, Oxford University Press (1990).
18) 後藤真孝，西村拓一：AIST ハミングデータベー
ス：歌声研究用音楽データベース，情報処理学
会研究報告音楽情報科学（SIGMUS），Vol.2005,
No.82, pp.7–12 (2005).
19) 後藤真孝，橋口博樹，西村拓一，岡 隆一：RWC
研究用音楽データベース：研究目的で利用可能な著作権処理済み楽曲・楽器音データベース，情報処理学会論文誌，Vol.45, No.3, pp.728–738 (2004).
20) 株式会社ヤマハ，神谷伸悟，橘 聡：カラオケ装置，特開 2005-107337 (2005).
21) 後藤真孝，伊藤克亘，速水 悟：自然発話中の有声休止箇所のリアルタイム検出システム，電子
情報通信学会論文誌 D-II, Vol.J83-D-II, No.11,
pp.2330–2340 (2000).
22) Seashore, C.E.: A Musical Ornament, theVibrato, Psychology of Music, pp.33–52,
McGraw-Hill (1938).
23) 森勢将雅，平地由美，坂野秀樹，入野俊夫，河原英紀：STRAIGHT を用いたビブラート歌唱音声236

Jan. 2007

情報処理学会論文誌の統計的性質，日本音響学会 2005 年春季講演論
文集 3-P-15, pp.269–270 (2005).
24) Vapnik, V.N.: Statistical Learning Theory,
p.736, John Wiley & Sons (1998).
25) Chang, C.-C. and Lin, C.-J.: LIBSVM: A
Library for Support Vector Machines (2001).
Software available at
http://www.csie.ntu.edu.tw/˜cjlin/libsvm(平成 18 年 5 月 9 日受付)
(平成 18 年 10 月 3 日採録)

後藤 真孝（正会員）

1993 年早稲田大学理工学部電子通信学科卒業．1998 年同大学大学
院理工学研究科博士後期課程修了．
同年電子技術総合研究所（2001 年に独立行政法人産業技術総合研究所に改組）に入所し，現在に至る．2000 年から 2003 年まで科学技術振興事業団さきがけ研究 21「情報と知」
領域研究員，2005 年から筑波大学大学院システム情報工学研究科助教授（連携大学院）を兼任．博士（工中野 倫靖（学生会員）

学）．音楽情報処理，音声言語情報処理等に興味を持2003 年図書館情報大学卒業．2005
年筑波大学大学院図書館情報メディ学研究会），2000 年 WISS2000 論文賞・発表賞，2001

ア研究科博士前期課程修了．現在，

年日本音響学会粟屋潔学術奨励賞・ポスター賞，2002

同大学院図書館情報メディア研究科

年情報処理学会山下記念研究賞（音声言語情報処理研

博士後期課程．日本音響学会，日本

究会），2002 年日本音楽知覚認知学会研究選奨，2003

音楽知覚認知学会各会員．

つ．1997 年情報処理学会山下記念研究賞（音楽情報科

年インタラクション 2003 ベストペーパー賞，2005 年
情報処理学会論文賞等 18 件受賞．電子情報通信学会，
日本音響学会，日本音楽知覚認知学会各会員．
平賀

譲（正会員）
1983 年東京大学大学院理学系研
究科（博士課程）中退，同年図書館
情報大学助手．現在，筑波大学大学
院図書館情報メディア研究科教授．
日本認知科学会，日本音楽知覚認知学会，ACM 等各会員．