3-7-11
VocaListener2: ユーザ歌唱の声色変化を真似る歌声合成システム∗◎中野 倫靖, 後藤 真孝 (産総研)
ユーザ歌唱

はじめに

1

歌声を人工的に生成できる歌声合成システムは、多歌詞

立ち止まる時またふと振り返る

歌声分析

音源B

time

time

F0

高くコントロールできることから、歌唱付き楽曲制作

powertimeの可能性を広げる重要なツールである。我々は以前、

歌声合成パラメータ推定

ユーザ歌唱の音高と音量を真似るように、既存の歌声歌声合成近くなるようにパラメータを反復推定

合成ソフトウェアの合成パラメータを自動調整する

VocaListener を開発した [1]。これによりユーザは歌図1

うだけで、自然な歌声を多様な音源で合成することが[dB]容易となった。しかし、音高と音量しか扱えず、ユー0

こわい ろ

歌声合成システム2

音源A

VocaListener1

様な歌声での合成が容易に行え、歌唱の表現を再現性ザ歌唱の表情や歌い方を表現しきれていなかった。そ様々な歌声合成条件

歌声合成システム1

VocaListener1 による歌声合成パラメータ推定。

音素 /o/

初音ミク
初音ミク LIGHT
初音ミク SOFT
鏡音リン-50

音素 /i/[dB]

初音ミク
初音ミク LIGHT
初音ミク SOFT
鏡音リン0-50

こで、本研究では 声 色 変化も歌声合成結果に反映できる VocaListener2 を提案し [2]、これまでのシステ

0ムを VocaListener1 として区別する。個人性を保持したまま、歌い方としての声色の時間変化を反映することで、表現豊かな合成を実現する。

51015 freq. [kHz]051015 freq. [kHz]図2

音韻の違いと歌唱者の違いによるスペクトル包絡形状の違いの具体例。

従来、声質変換やモーフィングに関する研究がなする可能性があるが、誤った箇所を指摘（ダメ出し）されてきた [3, 4, 5, 6, 7] が、本研究が対象とするよするだけで、新しい候補を再提示する機能もある。

うな、歌唱中の変化を操作することはできなかった。
一方、このような声色変化を、ユーザが明示的に操2.2声色変化を真似る歌声合成への拡張作する技術には Vocaloid [8] がある。Vocaloid では、声色変化を対象として「ユーザ歌唱を真似る」ため複数の数値パラメータを各時刻で調整することで、声には、VocaListener1 と同様、既存の歌声合成システ色変化を伴った歌声合成が実現できる。しかし、曲にムにおけるパラメータをユーザ歌唱に合わせて自動合わせたパラメータ操作は難しく、ほとんどのユーザ推定する方法が考えられる。しかし、声質や声色変はパラメータを変更しないか、変更するにしても曲毎化に関するパラメータは、システム毎に異なる可能に一括で変更したり、大まかに変更したりしていた。

性が高く、実際、Vocaloid と Vocaloid2 [8] では一部異なる。また、Vocaloid2 の応用商品である「初音ミク・アペンド [10]」は、「初音ミク [11]」と同一歌唱者

VocaListener1 の機能と拡張2の声で、DARK, LIGHT, SOFT, SOLID, SWEET,
本章では VocaListener1 の概説と、VocaListener2を実現するための課題について述べる。

VocaListener1: ユーザ歌唱の音高と音量を真似る歌声合成パラメータ推定システム [1]2.1

VocaListener1 は、既存の歌声合成ソフトウェアの歌声合成パラメータを、ユーザ歌唱からその音高と音量を真似て推定する技術である（図 1）。パラメータの反復推定により、推定精度が従来研究 [9] に比べて向上し、歌声合成システムやその音源（歌手の声）を切り替えても再調整せずに自動的に合成できる [1]。
また、独自の歌声専用音響モデルによって、歌詞のテキストを音符毎に割り当てる作業はほぼ自動で行える。音符の割り当てでは、その推定時刻に誤りが発生∗

VIVID の 6 種類の声色で歌声合成できる。しかし、これらの音源をフレーズ毎に切り替えながらの合成はできても、歌声合成システム上でこれらの中間の状態を作り出すことは困難である。
したがって、システムやパラメータ毎に最適化した方法を仮に実現しても、異なるシステムにおいて適用できず、汎用的でない。つまり、歌声合成システム内のパラメータ操作だけでは不十分で、外部の信号処理が必要といえる。そのような方針を採ることで、複数音源を活用する等、自由度を拡げることにも繋がる。
その上で、以下の二つの課題を解決する必要がある。

[課題 1] 声色変化をどう表現するのか[課題 2] ユーザの声色変化をどう反映させるのか

VocaListener2: A Singing Synthesis System Mimicking Voice Timbre Changes of User’s Singing. by
Tomoyasu NAKANO and Masataka GOTO (AIST)

日本音響学会講演論文集- 321 -2011年3月

୻ŌŃੂఠ঑ॡधੂఠ঑ॡ‫॔؞‬ঌথॻ

本研究：声色空間の構成> োৡ@ユーザ歌唱とその歌詞
歌声合成システム1
歌声合成システム2: ়ਛৌ଴(例: 異なる歌唱者の音源 X, Y) (同一歌唱者で異なる声色の音源 Z1 - Z4)
歌詞
呑めと言われて 陽気に呑んだXY

Z1

Z2

Z3

Z4と音量を真似て合成

B スペクトル包絡を推定

声色変化チューブ

声色空間
time

D ユーザ歌唱の軌跡をシフト・スケーリング

E> লৡ@
ユーザ歌唱の声色変化を反映させた合成歌唱

VocaListener2 における処理の流れ。

本研究では、声色の違いを初音ミクと初音ミク・アペンドの違いに相当すると考え、音響的にはスペクトル包絡の形状の違いとして定義する（図 2）。ただし、

time

time

ZJ

図4

歌声合成

声色空間
time

図3

time

(1) 全歌唱の各フレームから部分空間を構成(2) 低次 űŋƗŌŃ次元を保存しスペクトル包絡を再構成

ユーザ歌唱の軌跡

freq. スペクトル包絡系列

Z1

ZJ

A ユーザ歌唱の音高（M 次元空間）

従来: 話者性と音韻性の分離

スペクトル包絡系列

...

ユーザ

VocaListener1

C 声色空間を構成

freq.

Z1

...

VocaListener2

スペクトル包絡系列

freq.

(3) 全歌唱の全フレーム 話者毎に部分空間を構成から部分空間を構成 - 話者内分散大（低次）:音韻空間(4) 低次 Ű 次元を用いて - 話者内分散小（高次）:話者空間声色空間を構成

声色空間の構築と従来研究 [12, 13] との違い

歌い方を真似た歌声を複数生成する（A ）。続いて、それぞれの歌唱音声からスペクトル包絡を推定して（B ）、それらから M 次元の声色空間を構成する
（C ）。最後に、声色空間上のユーザ歌唱の軌跡を  〜 Z4 （合成対象となる声色：初音ミクと初音Z1  ミク・アペンドに相当）によって構成される声色変化える。このようにして、声色変化を反映したスペクトチューブによく収まるように、シフトとスケーリング
操作を行ない（D ）、ユーザ歌唱の声色変化を反映して歌声合成する（E ）。以降、それぞれの処理について、本稿における具体的な実現方法を説明する。

ル包絡系列を生成することで本システムを実現する。

歌唱音声はサンプリング周波数 44.1kHz のモノラル

スペクトル包絡には音韻性や個人性も含まれるため、そういった成分を抑制した時間変化が声色変化とい

VocaListener2: ユーザ歌唱の声色変化を真似る歌声合成システム

3

2.2 節で述べた課題 (1) を解決するために、ユーザ歌唱を真似て、各時刻において音高・音量・音韻が同期した、複数の歌唱者による歌唱音声を自動生成する。これらのスペクトル包絡から、声質や声色変化に寄与する成分以外を部分空間法に基づいた処理によって抑制して声色空間 (M 次元) を構成する。このような方法は、音韻性と話者性の分離に基づく話者認
識 [12] や声質変換 [13] で有効性が確認されている。
ここで、声色空間の構成には、合成対象となる複数の声色の歌唱も用いることで、各時刻でそれぞれが空間上の一点として表現され、その時間変化として複数の軌跡が得られる。この、各声色の点を含む M 次元の多面体とその時間軌跡を声色変化チューブと呼ぶ。
すなわち、この時々刻々と変化する多面体に囲まれた内側が声色変化可能な領域と本研究では仮定する。
続いて、課題 (2) を解決するために、同じ声色空間の別の場所に存在するユーザ歌唱の軌跡を、声色変化チューブ内になるべく入るように位置やスケールを合わせる。これによって、各時刻における声色空間上の合成目標位置が決定される。最後に、その位置からスペクトル包絡を生成できれば、ユーザ歌唱の声色変化を真似る歌声合成を実現できる。

3.1

3.2

歌声分析

スペクトル包絡の推定と声色空間の構成、ユーザ歌唱の軌跡の調整について述べる。
スペクトル包絡の推定 B : STRAIGHT [14] を用いて推定する。分析フレーム長は F0 同期とし、各時刻でスペクトル包絡を推定する際の FFT 長は 4096点とした。また、離散コサイン変換を行って次元数を落とし、0 次（直流）を除いた低次 80 次元を用いた。
声色空間の構築 C : 図 4 に処理の概要を示す。まず全歌唱の各分析フレーム（時刻）で主成分分析を行う。時刻 t において、その低次 N (t) 次元のみを保存して元の空間に戻すことで、各フレームの共通成分（音韻性など）を抑制する。次元数 N (t) は累積寄与率 80%を超えるようにフレーム毎に決定した。最後に、全歌唱の全フレームを用いて一度に主成分分析を行い、その低次 M (= 3) 次元の空間を声色空間として扱う。このような処理によって、異なる歌唱者の全てのフレームが同じ空間上で扱えるだけでなく、音韻などの文脈に伴なう声色変化に関係する成分を、低次元で効率的に表現できる。これらの処理は、全ての歌唱で F0 が存在する有声区間のみを用いた。

ユーザ歌唱の軌跡の調整 D : ユーザ歌唱の軌跡と声色変化チューブのそれぞれが平均が 0、標準偏差が1 となるように、次元毎にシフト・スケーリングする。

VocaListener2 の処理概要

3.3

処理の流れを図 3 に示す。まず、入力としてユーザの歌唱音声を与え、VocaListener1 を用いて、その日本音響学会講演論文集信号を扱い、処理の時間単位は 1 ms とする。

歌声合成

声色空間上の一点から、それに対応付くようなスペクトル包絡を生成する E 。ここで、声色空間を構成- 322 -

2011年3月

声色変化チューブ
ユーザ歌唱の軌跡

推定

time t/N/

DARK

SWEET
SOFT

(5)

VIVID

ここで、wj が混合比率、P (·) は式 (5) のように、

z7 (t)

M 変数一次多項式（係数が pm=0,...,M ）である。ϕ(·)

Zr1 (f,t)

00

frequency f

5kHz0

frequency f

基準とする声色
5kHz

frequency f

Zr7 (f,t)は、ベクトル間の距離を表す関数であり、本稿ではZr4 (f,t)

Zr6 (f,t)pm (f, t) · x(m)ベクトル x として zj (t) もしくは u(t) を変数とする

スペクトル変形曲線

5kHz

z 3 (t)z5 (t)z 1 (t)Z 4(f,t)

Z 6(f,t)スペクトル包絡

LIGHT
SOLID

初音ミク(4)M∑
m=1

Z 1(f,t)z4 (t)

P (x; f, t) = p0 (f, t) +frequency f

5kHz

ユーザ歌唱
u(t)

z 2(t)z 6(t)g(zj (t); f, t) = Zrj (f, t)

0

Z 7(f,t)/N n o m e t o - I w a r e t e/g(u(t); f, t)

音素系列
声色空間（M 次元）

ϕ(·) = | · | とする。上記の式により、ユーザ歌唱が声05kHz

frequency f

図5

実際に構成した声色空間上のある時刻における初音ミ
クと初音ミク・アペンド（DARK, LIGHT, SOFT, SOLID,SWEET, VIVID）の配置と、それに対応するスペクトル
包絡とスペクトル変形曲線。また、実際の推定結果。

色空間上で各声色の点と重なりあった場合には、それと同じスペクトル変形曲線を生成する制約（式 (4)）
を満たすよう推定することになる。声色空間を M = 3次元とすると、時刻 t 毎に以下の行列として書ける。
するために利用する歌声合成システムには、Vocaloidと Vocaloid2 [8] を採用し、その応用商品として市販されている歌声合成ソフトウェアのうち、日本語歌唱を合成できる 17 種類1 を用いた。そのうち、初音ミクと初音ミク・アペンド（DARK, LIGHT, SOFT,SOLID, SWEET, VIVID）の 7 種類を合成対象の歌声とし、それらから声色変化チューブを構成する。

ϕ11 · · · ϕ1J
 ϕ21 · · · ϕ2J

 .
.
 .
..
 .

 ϕJ1 · · · ϕJJ 1 ··· 1 (1)(1)
 z 1 · · · zJ
 (2)
(2)
 z1 · · · zJ
(3)(3)
z1 · · · zJ

11.
..
10000(1)

z1(1)
z2.
..
(1)
zJ
0000(2)

z1(2)
z2.
..
(2)
zJ
0000


(3)
z1
w1
(3) z2   w2. .
..  .
 .
(3)  zJ   wJ
 p0 00   p1
  p20 p30

Zr1
  Zr2
   .
  ..
   Zr
=J  0   0   00


(6)

ある時刻における実際の声色空間上での配置を図5 に示す（ただし、左上の声色変化チューブはイメー

ここで ϕij は ϕ(zi (t) − zj (t)) を表し、(f, t) や (t) はジ図である）。それぞれの点にはスペクトル包絡が対このようにして推定された wj と pm を用いて、式応付いており、これに基づいて、ユーザ歌唱の声色変化を反映させるスペクトル包絡を生成する。ただし、(2) によってスペクトル変形曲面を生成する。続いて、合成の不自然さを減らすために、フレーム毎に上限スペクトル包絡は直接推定せず、標準的な声2 を基準と下限を設けた閾値処理を行い、時間–周波数平面上としてそこからの変形比率をまずフレーム毎に推定の平滑化処理により、急峻すぎる変化を低減してスペする。本稿では、これをスペクトル変形曲線と呼び、クトルの連続性を保つ。最後に、基準とした歌唱音声

全時刻のスペクトル変形曲線を合わせてスペクトルのスペクトル包絡を、このスペクトル変形曲面を用変形曲面と呼ぶ。時刻 t、周波数 f におけるスペクいて変形し、それを STRAIGHT で合成することでトル変形曲面 Zrj (f, t) は、以下のように定義する。

ユーザ歌唱の声色変化を真似た合成歌唱を得る。

(Zrj (f, t) = log

Zj (f, t)
Z1 (f, t)

省略して記述した。

)
(1)

3.4

ユーザ歌唱を真似るだけでは、歌唱によるユーザ

ここで Zj=1,2,··· ,J (f, t) は、j 番目の声色のスペク
3

インタフェース構築: 声色変化の調整機能

トル包絡を表す (j = 1 が基準の声色)。Zrj (f, t) は、の表現力の限界を超えることができないため、以下対数をとることで結果が負の値を取ることを許容すの三つの機能を持つインタフェースを提案する。

る。続いて、声色空間上でのユーザ歌唱を u(t)、各スケーリング機能: 声色変化のスケールを変えて抑揚声色を zj (t) とし、声色空間上でのユーザの声色ををつけたり、逆に抑制して歌声を合成できる。

真似るためのスペクトル変形曲線 g(u(t); f, t) を推定

シフト機能: 声色変化の中心を変えることで、それぞする。そのために、Radial Basis Function を用いたれの声色を中心とした声色変化に変換できる。

Variational Interpolation [15] を応用して適用する。

シフト・スケーリング機能: 上記二つの機能を部分的

g(u(t); f, t) =J∑に適用することで、細かな修正を可能とする。
(wk (f, t) · ϕ (u(t) − zk (t))) + P (u(t); f, t) (2)4k=1

Zrj (f, t) =J∑

(wk (f, t) · ϕ (zj (t) − zk (t))) + P (zj (t); f, t)(3)実験
本システムの評価として、RWC 研究用音楽データ

k=1

ベース（音楽ジャンル）[16] RWC-MDB-G-2001 No.91「大漁船」を用いて 2 種類の実験を行った。本実験では、

1 男性歌唱が 3 種類、女性歌唱が 14 種類。
2 例えば初音ミク・アペンドでない初音ミク。
3 本稿では J = 7 である (初音ミクと初音ミク・アペンド 6 種)。

日本音響学会講演論文集

便宜上のユーザ歌唱として「大漁船」の無伴奏の男性- 323 -

2011年3月

DARK

初音ミク VIVID
SOFT

SOLID

LIGHT

第3主成分

第2主成分

SWEET

正解

SOLID
DARK
SWEET

第1主成分

初音ミク
VIVID
SOFT

LIGHT

SOFT

VIVID

DARK

SOLID

SWEET

推定結果（Closed 実験）
VIVID
SWEET
SOLID
SOFT
LIGHT
DARK

LIGHT

第1主成分

初音ミク

推定結果（Open 実験）

VIVID
SWEETSOLID
SOFT
LIGHT
DARK

図6

声色空間の低次 3 次元における「大漁船」の声色毎の全フレーム（55 sec）における平均ベクトル。

初音ミク
0

歌唱（55 秒）を用い、声色空間の構成では、VocaL-istener1 での合成歌唱が女性の場合、VocaListenerplus [1] によって 1 オクターブ上げて合成した。
4.1

実験 A: 声色空間の特性の確認

部分空間法による声色空間の特性を確認する。図 6に、構成された M (= 3) 次元の声色空間とその平均

5101520253035404550

55time [sec]図 7

ユーザ歌唱として初音ミク・アペンド歌唱を切り貼り（LIGHT, DARK, SOLID, SOFT, VIVID, SWEETの順）した歌唱を与えた場合の声色空間上での各声色とのユークリッド距離（濃いほど距離が近い）。上段は声色空間を構成する際の初音ミク・アペンドと同じ歌唱を入力として与え、下段は GEN パラメータを変更（GEN=90）して2 半音下げた歌唱を入力として与えた場合。

ベクトルを示す。フレーム毎に 17 種類の歌唱音声に対して行った主成分分析では、N (t) の平均は 4.18 次元であり、全歌唱の全フレームにおける主成分分析では、上位 3 次元の累積寄与率は 42.3%であった。
図 6 の結果から、声色空間上で各声色の平均ベクトルは比較的分離しており、また定性的ではあるが、初音ミクと初音ミク・アペンドのそれぞれの合成歌唱の聴取印象を反映するような配置となっていた。以上の結果から、低次部分空間を活用することで、声色空間を少ない次元で効率的に表現できるといえる。

t.nakano/VocaListener2/ で視聴できる。声色変化は音高や音量と違い、物理量として単純に扱うことができず、未解決な課題も多い。今後は声色変化をモデル化して再利用する等、声色変化の新たな活用法について更なる検討をしていきたい。例えば、初音ミクを基準としたスペクトル包絡の変形曲面を別の音源に適用することで声色転写が行える可能性がある。実際、初音ミクから初音ミク・アペンドへの 6 種類の変形曲面を、そのまま鏡音リンに適用し、6 種類の「鏡音リン・アペンド」に相当する印象が得られたことを定性

4.2

実験 B: 声色変化の推定結果の確認的に確認した。しかし、このままでは単純な処理で、「大漁船」の男性歌唱を初音ミク・アペンドで真似汎用的でないため、今後の検討が必要である。

た六種類の歌唱を合成し、それを手作業で切り貼りし本研究の根底には、「人間らしい歌唱」とは何かをた歌唱音声を入力とする。このような実験によって、解明し、より人間を知ることがあり、本システムは、声色変化の推定結果を確認する。実験では、声質にそうした歌声研究の基本ツールとしても貢献できる。

関するパラメータ（GEN）をデフォルトとした場合

謝辞 本研究の一部は、CrestMuse プロジェクトによる（Closed 実験）と、GEN を 90 に変更して 2 半音下げ支援を受けた。また本研究では、RWC 研究用音楽データた合成歌唱（Open 実験）の二種類を入力とした。

ベース (音楽ジャンル RWC-MDB-G-2001) を使用した。

図 7 に、声色空間上におけるそれぞれの声色とのユークリッド距離を示す。Closed 実験の結果からは、正解がほぼ推定できたことから、声色空間の構成と、ユーザ歌唱軌跡のシフト・スケーリングが適切に行えているといえる。また Open 実験の結果では、図 6で近くに配置された声色が相互に影響を受けていることがあった。ただし、全ての声色との距離からスペクトル包絡を推定する（式 2）ため、最近傍の声色が正解と異なっても近くに配置されていさえすれば、適切な包絡が推定できる。以上の結果から、ユーザの声色変化を真似るための有効性が示唆された。

5おわりに
本稿では、ユーザ歌唱からの声色変化の推定と、そ れ を 真 似 て 歌 声 合 成 す る VocaListener2 を 提案した。合成結果の具体例は http://staﬀ.aist.go.jp/

日本音響学会講演論文集- 324 -参考文献[1] T. Nakano et al.: VocaLis ..., SMC 2009, 343–348, 2009.
[2] 中野 他: VocaListene..., 情処研報, 2010-MUS-86, 3, 2010.
[3] T. Toda et al.: Voice conversion based on maximum
likelihood ..., IEEE Trans. ASLP, 15, 2222–2235, 2007.
[4] 大谷 他: STRAIGH ..., 信学論，J91-D, 1082–1091, 2008.
[5] O. Türk et al.: A comparison of voice conversion methods for transform ..., Interspeech 2008, 2282–2285, 2008.
[6] T. Nose et al.: HMM-based style control for expressive..., IEICE Trans. Inf. & Syst., E92-D, 489–497, 2009.
[7] Z. Inanoglua et al.: Data-driven emotion conversion insp ..., Speech Communication, 51, Is. 3, 268–283, 2009.
[8] H. Kenmochi et al.: VOCALOID – Commercial Singing
Synthesizer base ..., Interspeech 2007, 4011–4010, 2007.
[9] J. Janer et al.: Performance- ..., DAFx-06, 41–44, 2006.
[10] http://www.crypton.co.jp/cv01a/[11] http://www.crypton.co.jp/cv01/[12] 西田 他: 音韻性を抑 ..., 信学論，J85-D2, 554–562, 2002.
[13] 井上 他: 部分空間と ..., 信学技報 SP，101, 86, 1–6, 2001.
[14] H. Kawahara et al.: Restructuring speech representations usi ..., Speech Communication, 27, 187–207, 1999.
[15] G. Turk et al.: Modelling with implicit surfaces that interpolate, ACM Trans. on Graphics, 21, 855–873, 2002.
[16] 後藤 他: RWC 研究用音 ..., 情処学論，45, 728–738, 2004.

2011年3月