1-11-28
  ：話声を歌声に変換する歌声合成システム◎齋藤毅 後藤真孝 産総研 鵜木祐史 赤木正人 北陸先端大

はじめに

Speaking voice

歌声合成システムの処理体系

図  に歌声合成システム  ! の概要を示す．このシステムは，  の分析・合成処理体系に，"#，スペクトル，音韻長の各音響パラメー
タにおける歌声特有の音響特徴を制御するモデルを組み込むことで構成される．
システムの入力は，合成したい歌の歌詞の朗読音声（$ ! %&'），その歌の譜面情報（()$' *$'&+），そして朗読音声中の音韻（または単語）と譜面中の音符の対応関係を記述した情報（$',+&- .&/&+( .&）の  つである．尚，朗読音声のセグメンテーションと，セグメンテーションされた各音韻と音符との対応付けは手動で行う必要がある．このシステムでは，以下の  つの手続きによって歌声合成音が生成される．
 によって朗読音声の音響パラメータ（"# 変化パターン，スペクトル系列，非周期性指標系列）を抽出する
0 歌声 "# 制御モデルによって譜面情報から歌声の"# 変化パターンを生成する
0 音韻長制御モデルによって朗読音声中の各音韻のスペクトルと非周期性指標の時間系列を伸長
0 

Musical notes(musical score)

STRAIGHT(analysis part)F0 contour
Aperiodicity
index (AP)Spectralenvelope

Duration control modelF0 control
model

Spectral control
model 1
Modified
spectral envelope

Modified AP

F0 contourof singing voice

STRAIGHT(synthesis part)Speech-to-singing synthesis system

歌声合成システムの構築は，計算機による音楽の新たな楽しみ方を創造するだけでなく，人間の音声コミュニケーションを理解する上でも重要な取り組みである．現在の歌声合成の研究は，テキスト又は歌詞から歌声を合成する        のアプロー
チによる取り組みが主流である    ．これらは，話声を対象とした        で用い合成といったコーパスられる波形接続合成や ベースの手法に基づいたものが多く，特にの    は市販の歌声合成ソフトウェアとして計算機音楽の新しい可能性を示している．
それに対して，本稿では，話声から歌声を合成する           という新しいアプローチで歌声合成システムを構築することを目的とする．このシステムは，音声分析系    の処理過程において歌声特有の音響特徴を制御・付与することで，歌詞の朗読音声を歌声に変換するものである．我々は，この方法を用いることで，従来の歌声合成システム以上の自然な歌声の合成と，「歌詞を朗読さえすれば元の声質を保持した歌声を生成できる」という新たな歌声アプリケーションが実現できると考えている．更には，歌声特有の各種音響特徴を操作・変換した歌声を合成できるシステムの枠組み自体が，歌声の知覚・生成機構を解明する有効な手法になり得ると考えている．

Synchronization
information

Spectral control
model 2Synthesized
singing voice"0                   する
0 スペクトル制御モデル１によって時間伸長後の母音区間のスペクトル包絡と非周期性指標を加工する
0   によって生成・加工した各音響パラメータから歌声を合成する
0 スペクトル制御モデル２によって合成歌声の振幅エンベロープを加工する

 制御モデル

本章では，歌声の "# 変化特有の音響特徴である "#動的変動成分について述べ，その特徴を制御可能な歌声 "# 制御モデルについて概説する．

 歌声特有の  動的変動成分
筆者らの先行研究 1 において様々な歌声データの "#を分析した結果，以下の  種の "# 動的変動成分が歌唱スタイルや歌唱者に関係なく存在することが明らかとなっている．
オーバーシュート  ：滑らかな音高の変化，およびその直後に目的音高を越える瞬時的な変動成分  ：同一音高区間で観測されヴィブラート
る 1 - の準周期的な変動成分
プレパレーション   ：音高変化直前に変化とは逆方向に振れる瞬時的な変動成分

                    ! "#    $ #     %  !

日本音響学会講演論文集- 305 -

2008年3月

Boundary between consonant and vowel

6.2

Overshoot6000

Preparation
Frequency [Hz]log(F0)65.8Vibrato

5.6

Tc: Consonant duration
Tb: Boundary2000

Tv: Vowel duration

duration (40 ms)

k: Lengthening rate

Overshoot: Musical notes in musical score5.401000

Speaking voice

4000

2000

03000

4000

5000

06000

20406080100120

Time [ms]    "0   

Tcspk Tbspk

         
Frequency [Hz]6000

Overshoot(second orderdamping model)

F0 contourof singing voice

Musical notes

Vibrato+(second orderoscillation model)

switchTvspk

LengthenSinging voice

4000

2000+

0050

100

150
Time [ms]

200

250

Tcsig = kTcspk

Preparation

Tvsig=Note duration - (Tcsig+Tbsig )Tbsig =Tbspk

Fine fluctuation(Low pass filter)(second orderdamping model)"0      White noise"0           

微細変動      ：発声区間全体に観測される不規則で細かい変動成分
図  に，アマチュア歌手による日本童謡「七つの子」
歌唱時の "# 変化パターンと，そこに含まれる "# 動的変動成分を示す．

 制御モデル

図  に歌声の "# 制御モデルの概要を示す．このモデルは，譜面中の各音符をステップ関数で記述し，それらを重ね合わせることで生成したメロディの遷移の概形（ *&2 '&.&)+）に対して， 種の "# 動的変動成分を制御・付与することで歌声の "# 変化パターンを生成する．
オーバーシュート，ヴィブラート，プレパレーショ
ンは，メロディの遷移の概形を複数のフィルタに通すことで制御される．フィルタは，次式の二次系伝達関数のインパルス応答で与えられる．

  ¾ 
ここで， は固有角周波数， は減衰項， は振幅項である インパルス応答   は， の値に従って以下
3 4 50¾63463 4のように与えられる．

 ½    ¾     ¾ ¾ ½      ¾       ½ ¾           ，
   

日本音響学会講演論文集

  

音韻長制御モデル

本章では，楽曲のテンポに従って，個々の音符が割り当てられた音韻（もしくは単語）ごとに時間伸長処理を行い，話声の時間構造を歌声に変換する音韻長制
御モデルについて概説する．
図  に音韻長制御モデルの概要を示す．このモデル
は，手動で与えられた各音韻の子音7母音境界を子音部 6 結合部 6 母音部に自動セグメンテーションし，各部のスペクトルと非周期性指標の時間系列を線形補間によって時間伸長する．尚，結合部分は子音7母音境界の8#  # ($ までの計 # ($ としている．
子音部の時間長は，予め設定した朗読音声中の子音長に対する歌声中の子音長の比率（摩擦音 01，破裂音 0，半母音 0#，鼻音 0，990）に従って伸長処理を行う．
結合部は，時間伸長をせずに # ($ で固定とする．
母音部は，伸長の対象としている音韻に割り当てられた音符長から，伸長した子音部の長さと結合部の# ($ を差し引いた時間長に伸長する（図  を参照）．

スペクトル制御モデル

本章では， 種の歌声特有のスペクトル特性を示し，それらを制御可能なスペクトル制御モデルについて概説する．
¾¾
ここで， ½ 56
¾ 5である0 そして，オーバーシュートとプレパレーショ
ンは減衰振動モデル 3#   4，ヴィブラートは定常振動モデル 3  5 #4 で記述される．また，各 "#動的変動成分の特性は，パラメータ ， ， によって制御される．微細変動は，白色雑音をカットオフ
周波数 # - の低域通過フィルタに通した後，最大

振幅が  - になるように正規化することで生成し，"# 変化パターン全体に付与することで制御している．
尚，"# 制御モデルの詳細に関しては文献 1 を参照
されたい．

 歌声特有のスペクトル特性
代表的な歌声特有のスペクトル特性の一つに，
)2:+ ; が 歌唱ホルマント 3$+<$ /&+( .4と命名した男性のオペラ歌唱の  !- 付近において観測される顕著なホルマントピークがある．この特徴は，声に響きや明瞭さを与えると言われている #．
図  は，オペラ歌唱と，長唄歌唱における歌唱ホルマントの一例である．また，歌声特有の "# 変化に- 306 -2008年3月

lengthnened spectral envelope and aperiodicity index

80

Singing formant

70

Ssp(f):
100

090

-10

Amplitude [dB]

Amplitude [dB]

Asp(f):

spectral envelope

60
50
40

80

-20

70
-30

60

-40

50

30

40

0500

1000

1500

2000

2500

3000

3500

4000

-50

4500

0500

1000

1500

2000

Frequency [Hz]20Tenor (singing)

10Tenor (speaking)Japanese ballad (singing)

0aperiodicity index

2500

3000

3500

4000

4500

4000

4500

Frequency [Hz]Wsf (f): weighting function
1.1501000

2000

3000

4000

5000

6000

level-10

Frequency [Hz]

1.1

1.05
1    



0.9501000

1500

2000

2500

3000

63524100090-10

Amplitude [dB]

10

4F0
Amplitude envelope

3500

4000

4500

5000

2500

3000

original aperiodicty index

8070
original spectral envelope

60

-30

3 dB up
6 dB up
9 dB up
12 dB up

50
400"0 0

3 dB down
6 dB down
9 dB down
12 dB down

-20

13103

6500

1000

1500

-40
2000

2500

3000

3500

4000

-50

4500

0500

1000

1500

2000

3500

Frequency [Hz]Frequency [Hz]Ssg(f):modified spectral envelopeAsg(f): modified apeodicity index      )

synchronization

Spectrogram

Frequency [Hz]synthesized singing voice
8000

36000
4000
2000
00200

400

600
800
Time [ms]   

"0 

500

3210

7

Frequency [Hz]!"

Amplitude"0 

#$%&   

1000

1200

500

1000

1500

2500

3000

1400

Esp(t) : envelope
0.15

carrier0.1

    "  '

2000

(  

0.050 

-0.05

0500

1000

1500

2000

2500

3000

3500

adding AM
0.150.1

連動したスペクトルの動的変動として，音声振幅全体がヴィブラートによって振幅変調し，それによって個々のホルマントも振幅変調することが報告されている ．図  に，オペラ歌唱による母音9 9発声時のサウンドスペクトログラム，"# 変化パターン，振幅エンベロープを示す．振幅エンベロープとホルマントが，"# 中のヴィブラートに同期して振幅変調していることが確認できる．

0-0.05

34 5

34

3



34

ここで，  3 4 と  3 4 は，それぞれ話声と歌声のスペクトルである．  3 4 は，話声のスペクトルピークを強調させる荷重関数で次式で表わされる．







    ·½      ¾ 

ここで， は，  3 4 の  !- 付近のピーク周波数で  は強調させる帯域幅を， そして  は強調させる割合をそれぞれ調整するパラメータである．また，非周期性指標に関しては， !- 付近に存在する



日本音響学会講演論文集

500

1000

1500

2000

2500

3000

3500

Esg(t) :modified envelope

modified synthesized singing voice
8000
6000
4000
2000
0"0 140xスペクトル制御モデル

図  に示すように，スペクトル制御モデルは， つの手続きから構成され， 番目のモデルで歌唱ホルマン
トが， 番目のモデルでヴィブラートに同期した音声振幅及びホルマントの振幅変調が制御される．
図  に，スペクトル制御モデル１の概要を示す．このモデルは，次式に従って，話声の母音区間のスペクトルにおいて  !- 付近に存在するピークを強調することで歌唱ホルマントを制御・付与する．

0.05

500



1000

1500

 2000

  2500

3000   *

ディップを関数 3 4 によって強める（顕著な谷を付与する）処理を行う．
図 1 にスペクトル制御モデル  の概要を示す．このモデルは，スペクトル制御モデル  の処理後に合成された歌声の振幅エンベロープに対して振幅変調を付与することで，音声振幅とホルマントの振幅変調を制御する．この振幅変調は，"# 制御モデルによってヴィブラートが付与された区間において，次式によって付与される．


ここで， 3 4 5 3 6     $3



44

3 4

343 4と 3 4 は，それぞれ話声と歌声の振幅エンベロープである．  と  は，振幅変調の速さ（+ .）の大きさ（=..）をそれぞれ制御するパラメータである．



歌声合成音の評価

本章では，提案した歌声合成システムを用いて，前章までで述べてきた "#，スペクトルにおける各種音響特徴を個々に制御した歌声合成音を作成し，それらを- 307 -

2008年3月

SING-SP-0.11
SPEAK-1.3

SING-BASE

-0.5

0.59
SING-F00.41-0.23-1.0

SING-ALL00.5

less natural"0 ;

1.0
more natural+   

SING-REAL
0.64

 ,      - 

聴取実験によって評価する．これにより，提案している歌声合成システムの評価を行うと同時に，各種特徴の歌声知覚への影響を比較する．

歌声合成

合成音は，男女各  名が日本童謡「七つの子」の歌いだし からすなぜなくの を朗読した音声を対象に作成した以下の  種である．
： 歌詞の朗読音声： 音韻長制御と "# 制御（但し "# 動的変動成分は付与していない）を行った合成音： 音韻長制御と "# 制御（すべての "# 動的変動成分を付与）を行った合成音： 音韻長制御とスペクトル制御１，２を行った合成音
： すべての制御を行った合成音! ：  と同じ人間による歌声
尚， と ! は   によって分析・再合成されたものを使用した．

聴取実験響特徴を朗読音声に制御・付与することで歌声を合成する．"# 制御モデルは，譜面情報から得られるメロディの遷移の概形に対して， 種類の動的変動成分を付与することで歌声の "# 変化パターンを生成する．
音韻長制御モデルは，楽曲のテンポに基づいて，話声中の各音韻長を伸長する．スペクトル制御モデルは，話声のスペクトルに対して， 種の歌声特有のスペクトル特性を付与することで歌声のスペクトルを生成する．聴取実験によって合成音声を評価した結果，原歌声と同程度の自然な歌声を合成できることを示した．また，話声から歌声の変換には，"# 動的変動成分の制御が最も重要であることが明らかとなった．
今後は，朗読音声のセグメンテーションを自動化することで，誰でも簡単に利用できる歌声合成システムへ発展させることが必要である．また，本システムを用いた歌声合成・知覚実験によって，新たな歌声特有の音響特徴や，歌唱者や歌唱スタイルの違いを規定する音響特徴の抽出を行う予定である．
謝辞 本研究の一部は，科学技術振興機構 +$.
プロジェクトによる支援を受けた．

参考文献
 @0 & 2

 0 A.,$$ &/ ., : B+/&+( '  (*DDD 0 B+&'00   8; ##00 A &' * &%+$& /+&(  !8&' .& 

日本音響学会講演論文集&' E$ CB+&'0 .+$',# )08 ##0 0  .&) 

0 A',8&8 .,$$>&%+.  !&.+&**&'$ .& &'$ :'&)$.' " .)+$ EF) .& &'$C B+&'0 G 0

H I , + ++$. .&$B# 0 81 ##00A$.+)'.)+)$.',/+F)' $(&&.,22 .%$',.(8 $. . &)$8 /+8F)' : $2 & "# =.+ '.&> B&$$:* +&* &/+..% $.+)'.)+  $&)2$C ', &(8()0  18# ;;;01 0  .&) 0 A%*&(. &/ "# '&.+&*(&2* : $2 & "# 2 (' ', + '.+$.'$ /&+$8%&' $.,$$C ', &(()0 
#8 ##0; @0 )2:+ A+.')* .&+ .++. .& &/ .,< "&+( .<C @0'&)$.0 &'0(  1181 ;0
# @0 )2:+ A



本稿では，歌詞の朗読音声を歌声に変換する歌声合成
システム： ! を提案した．このシステ
ムは，"#，音韻長，スペクトルをそれぞれ制御するモデルで構成され，各モデルにおいて歌声特有の音&'&2*$C

剣持他 A歌声合成システム  C 情処研報 ##8 E8# 81 ##0 酒向他 A隠れマルコフモデルに基づいた歌声合成システムC 情処学論   ;8 ##0 吉田他 A歌声合成システム：:++$ C 情処研報 ;;18B8# 8# ;;10

2 .(:+C)$' +&&('&)$.' .&'!,&*(> & * I2$,' 2( &/)$' B):*' .&$

まとめ

2 '.+ * 0  .&) 

上記合成音を実験刺激として，シェッフェの一対比較法  によって，歌声の自然性に関する間隔尺度を求めた．実験に用いた評価尺度は，歌声の自然性に関する  段階評価（6>先の刺激がとても自然，6>自然，6>やや自然，#>どちらとも言えない，8>後の刺激がとても自然，8>自然，8>やや自然）である．被験者は，正常な聴力を有した大学院生  名（男性  名，女性  名）である．実験環境は防音室内で行い，刺激音はヘッドホン 3 ? 8#4 を介して呈示した．
実験結果を図 ; に示す．この結果から，各特徴を付与することで自然な歌声として知覚されるようになり，すべての特徴を付与した合成音の自然性は，原歌声と同程度であることが確認された．また，各種特徴の影響を比較した結果，音韻長だけを制御しても（合成音 ）自然な歌声とは知覚されず，それに加えて "# とスペクトルの音響特徴が歌声を知覚する上で必要であることが明らかとなった．その中で，"# 動的変動成分の影響はとりわけ大きく，スペクトル特性は "# 動的変動成分と共存することで強い影響を与えていることが示された．

)$0 &+ A'&)$.'&*0  0 81 ;0 *$$ &/ %&' * %:+ .&>.,&+.' * .+. .& &/ 2 . C @0&' 8 ;1;0天坂他 官能評価の基礎と応用：自動車における感性エンジニアリングのために 日本規格協会

- 308 -

###0

2008年3月