Vol.2012-MUS-96 No.7
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report

歌声・音声分析合成のための F0 適応多重フレーム統合分析に基づくスペクトル包絡と群遅延の推定法中野 倫靖1,a)

後藤 真孝1,b)

概要：本稿では、音声（歌声及び話声）の高性能な分析と高品質な合成のために、音声信号からそのスペ
クトル包絡と群遅延を高い精度と時間分解能で推定する手法を、F0 適応多重フレーム統合分析と名付けて提案する。従来、スペクトル包絡推定に関する研究は数多くなされてきたが、適切な包絡の推定は依然困難な課題である。また群遅延を合成に活用する研究があったが、ピッチマークと呼ばれる時刻情報が必要であった。本研究では、まず、全時刻（全サンプリング点）について、F0 に適応させた短い時定数の窓を用いて FFT を行い、F0 適応スペクトルを推定する。次に、分析時刻毎に近傍の複数フレームから F0 適
応スペクトルと群遅延を統合して、最終的なスペクトル包絡と群遅延を得る。スペクトル包絡の推定性能
は、14 種類の音サンプル中 13 サンプルにおいて、対数スペクトル距離が 2 種類の既存手法のいずれかよりも低く、8 サンプルにおいて最も低かった。また群遅延を保存して合成できることを確認した。

1. はじめにチマーク*1 や音素情報等の付随情報を前提とせず、音の種類の違いによらず安定して分析できるように実装する。

ソース・フィルタ分析 [1] は、音声（歌声及び話声）やそこで本稿では、F0 適応多重フレーム統合分析と名付

楽器音を扱う上で重要な信号処理の一つである。観測信号

けた新しい信号処理手法を提案する。図 1 にスペクトルから適切なスペクトル包絡を得ることが出来れば、高性能包絡と位相情報としての群遅延の推定結果を示す。これ以な分析や高品質な合成、音の変形等の幅広い応用が考えら

降、提案手法の実装方法について述べ、スペクトル包絡のれる。ここで、スペクトル包絡に加えて位相情報まで適切推定精度について、正解との対数スペクトル距離を算出しに推定することで、合成音の自然性向上が期待できる。

て既存手法と比較評価した結果を示す。また群遅延を保存

従来、音の分析においてはスペクトルの振幅情報が重要視されていて、位相情報が考慮されることは少なかった。
しかし、音の合成においては、位相が自然性の知覚に重要して合成できることを示す。

2. 関連研究な役割を果たすことが知られている。例えば、正弦波合成

従来、音声信号などの高品質な合成や変形操作のために、においては、初期位相が自然発話から π/8 よりも大きくず

信号モデリングに関する数多くの研究がなされてきた。それると、ずれの大きさに応じて知覚的自然性が単調に減少

れらの研究では、補足情報を用いない場合、補足情報としてすることが示されている [2]。また、分析合成系では、スペ

F0 推定を伴う場合、音素ラベルを必要とする場合がある。

クトル包絡からインパルス応答を求めて単位波形（一周期分の波形）とする際に、最小位相応答が零位相応答よりも

2.1 補足情報を用いない信号モデリングに関する研究

自然性が高いことが知られており [3]、自然性向上を目的とした単位波形の位相制御を行う研究 [4] もある。

代表的な手法として、入力信号を時間周波数平面でのパワースペクトログラムに展開して扱う Phase Vocoder [5,6]

本研究の目的は、音声や楽器音からスペクトル包絡と位がある。周期信号の時間伸縮等が可能だが、非周期性や F0

相情報を高い精度と時間分解能で分析し、それを保存したの変動等が原因で、品質が劣化してしまう問題がある。

ままの高品質な合成を実現することである。その際、ピッ

また、古くから知られたスペクトル包絡推定法として、

LPC 分析 [7, 8] やケプストラム等があり、様々な拡張や組
1

a)
b)

産業技術総合研究所
National Institute of Advanced Industrial Science and Technology (AIST)
t.nakano [at] aist.go.jp
m.goto [at] aist.go.jp

c 2012 Information Processing Society of Japan⃝み合わせがなされてきた [9–13]。しかし、包絡概形が LPC*1

基本周波数に同期した分析を行う際の、波形の駆動点（かつ分析時刻）を示す時刻情報。声門音源の励起時刻、もしくは基本周期中で振幅が大きい時刻が用いられる [1]。

1Vol.2012-MUS-96 No.7
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report

周期成分*2 をガウスノイズで畳み込む混合励振による合成

歌声波形方式や、高域の位相（群遅延）を乱数を用いて拡散させる
方式、などで合成品質の自然性向上を図っている。しかし、
22.05

スペクトル包絡位相の操作に関する基準は明確になっていない。その他、

周波数 [kHz]

元の音声信号と推定包絡のインパルス応答波形との逆畳込みによって、励起信号を抽出して利用する方法もある [31]が、位相を効率的に表現しているとはいえず、補間や変換操作への応用が困難である。また、群遅延を推定・平滑化
0

して分析合成する研究がある [32, 33] が、ピッチマークが群遅延必要であった。
以上の研究に加え、スペクトル包絡を混合ガウス分布

周波数 [kHz]

22.05（GMM）によってモデル化する研究もあり、STRAIGHT
スペクトルをモデリングする研究 [34] や、F0 と包絡の同

0

0

0.1

0.2

0.3

0.4

0.5

0.6

時間 [s]

時最適化による推定を定式化した研究 [35] がある。
これらの研究に共通する問題としては、局所的な観測か

図 1 歌声信号の波形と、そのスペクトル包絡と（正規化された）群遅延。

らの分析である以上、調波構造（F0 の整数倍の周波数に位置する成分）のみがモデル化され、調波構造間の伝達関数やケプストラムの分析次数によって決定されるため、次数は補間によってしか得られないという問題がある。

によっては包絡を適切に表現できない可能性がある。

2.3 補足情報として音素ラベルを活用する研究
2.2 補足情報として F0 推定を伴う分析

観測できない調波構造間の包絡成分を推定するために、

時間領域の波形をピッチマークに基づいて単位波形と分析時刻と同一の音素で、異なる F0（異なるフレーム）のして切り出し、それを基本周期で重畳加算する Pitch Syn-

スペクトルを統合することで、真の包絡を推定しようとす

chronized Overlap-Add (PSOLA) [1, 14] が、F0 に適応しる研究がある [36–38]。単一音のみではなく、音楽音響信た分析として古くから知られている手法である。F0 の変

号中のボーカルを対象とした研究も存在し [39]、同一の音化にも対応可能であり、位相情報が保存されていること素であれば、類似した声道形状を持つという仮定に基づく。

から合成品質が高い。しかし、ピッチマーク付与の難しさ

しかし、正確な音素ラベルが必要であり、また歌声のようや、F0 の変更や非定常部における品質劣化に関する問題がにコンテキストの違いによる変動が大きい場合には、過剰ある。

な平滑化につながる可能性がある。

音声・音楽信号における正弦波モデル [15, 16] も、調波構造をモデル化するために F0 推定を伴う。従来、調波成

3. F0 適応多重フレーム統合分析

分と広帯域成分（ノイズ等）のモデル化 [17, 18]、スペクト

図 2 に、F0 適応多重フレーム統合分析の概要を示す。

ログラムからの推定 [19]、パラメータの反復推定 [20, 21]、

本手法では、まず観測信号の全時刻（全サンプリング点）

2 次補間に基づく推定 [22]、時間分解能の向上 [23]、非定常について、F0 に適応させた短い時定数の窓を用いて FFT

音声での推定 [24, 25]、重畳音声での推定 [26] 等の数多く分析を行う（F0 適応分析）。これによって高い時間分解能の拡張がなされてきた。これら正弦波モデルの多くは、位を持つ F0 適応スペクトルを推定する。次に、分析時刻毎

相を含めて推定することから高品質な合成が可能であり、に近傍の複数フレームから F0 適応スペクトルと群遅延を高い時間分解能も実現されている [23, 24]。

統合して、最終的なスペクトル包絡と群遅延を得る（多重一 方 、ソ ー ス フ ィ ル タ 分 析 に 基 づ い た シ ス テ ム

フレーム統合分析）。

（VOCODER）に 、F0 適 応 分 析 の 考 え 方 を 取 り 入 れ た

図 3 に複数フレームの波形とそれに対応する短時間フーSTRAIGHT [27] は、その分析合成品質の高さから世界

リエ変換（STFT）によるスペクトルと群遅延を示す。そ中の研究コミュニティで使用されている。STRAIGHT でれぞれのスペクトルには谷があり、別のフレームではそのは、F0 適応した平滑化等の処理によって入力音声信号から谷が埋まっているため、これらを統合することで定常なス

周期性を除去したスペクトル包絡を得るが、品質の高さにペクトル包絡が得られる可能性がある。ここで、群遅延の加えて、高い時間分解能も持つ。また、TANDEM 窓によっ

ピーク（分析時刻から離れていることを意味する）とスペて時間方向の変動を除去する TANDEM-STRAIGHT [28]

クトルの谷が対応付いていることから、単一の窓を使ったや、スペクトルピークの強調 [29]、高速計算法 [30] 等への*2拡張がある。これらの研究では、位相を陽に推定せず、非c 2012 Information Processing Society of Japan⃝「調波成分の和あるいは周期的パルス列により駆動された応答により記述することのできない成分」と定義されている。

2

Vol.2012-MUS-96 No.7
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report
周期信号（話声・歌声・楽器音）

複数の窓掛けされた波形の重ね合わせ表示tt - 1/(2*F0)

t + 1/(2*F0)time
0.04640.0408F0適応したガウス窓(標準偏差: 2/F0)
振幅 [dB]

60

窓掛け

波形

0.0499時間 [s]

40
20
0

谷

-20

振幅

F0 = 318.6284 Hz

時間

FFT

群遅延 [s]

0.1

0.04
0

スペクトル包絡

振幅

0

1

2

3

4

周波数 [kHz]

図 3 F0 に応じた時定数を持つガウス窓を掛けた複数フレームの重

群遅延

時間

畳表示（上図）と、それらに対応するスペクトル（中図）と群
周波数

振幅 [dB]

群遅延

時間

振幅

-20

周波数

図 2

スペクトル包絡
存在範囲

0

周波数

統合
スペクトル包絡遅延（下図）。

-40
-60

周波数

F0 適応多重フレーム統合分析の概要だけでは、滑らかな包絡が得られないことが分かる。

-80
0

5

10

15

周波数 [kHz]

図 4 F0 適応多重フレーム統合分析によるスペクトル包絡と存在範囲の推定結果。

推定すべきスペクトル包絡は、この重畳したスペクトルの最大値と最小値の間にあると考え、まず最大値と最小値

降、歌声信号はサンプリング周波数 44.1kHz の 16bit モノを計算する。ただし、最大・最小の操作では、時間方向にラル信号を扱い、F0 適応分析における処理の時間単位は滑らかな包絡を得られず、F0 に応じたステップ状の軌跡を

1/44100 sec、多重フレーム統合分析における処理の時間単描くため、それを平滑化して滑らかにする。最後に、最大位（スペクトル包絡の離散時間）は 1 msec とする。

包絡と最小包絡の平均として提案スペクトル包絡を得ると同時に、最大から最小の範囲をスペクトル包絡の存在範囲

3.2 F0 適応分析

として保存する（図 4）。また、推定すべき群遅延として

本稿では、F0 適応分析においてガウス窓 w(τ ) を用い

は、最も共振する時刻を表現するために、最大包絡に対応る（図 2）。ここで、σ(t) は分析時刻 t における基本周波数

する値を用いる。

F0 (t) によって決まる標準偏差であり、ガウス窓は FFT 長

提案手法が従来研究（2.2, 2.3）と異なる点は、遠い別を N として RMS 値で正規化する。

の場所ではなく近傍との統合を行う点であり、これによっŵ(τ )w(τ ) = √∑N −1
(1/N ) τ =0 ŵ(τ )2て音素ラベルを必要としない。また、音声波形は、周波数帯域毎に時間方向に少しずつずれて共振している（3.2 で後述）ため、このような統合処理を行うことで分析時刻によらず（ピッチマークなし）に定常な包絡を推定できる。
ただし、観測範囲が局所的である以上、従来手法と同様、

τ2)2σ(t)21
1
σ(t) =×F0 (t) 3ŵ(τ ) = exp(−

(1)

(2)
(3)

完全な調波構造間の観測は行えない。そこで、スペクトル

ガウス窓の σ(t) = 1/(3 × F0 (t)) は分析窓長が基本周期の 2包絡を一つ推定するだけではなくて、その存在範囲を含め倍の長さに相当することを意味する（2 × 3σ(t) = 2/F0 (t)、て推定することで、応用可能性を拡げることを考える。

図 2）。この窓長は PSOLA 分析などでも用いられ、局所的なスペクトル包絡を近似するための適切な長さであること

3.1 実装条件が知られている [1]。

F0 適応分析を行うため、本研究では既に F0 が何らかの

図 5 に F0 適応分析の結果例を示す。このようにして得方法によって精度良く推定されていると仮定する。これ以られたスペクトルは、F0 に起因する時間方向の変動を含

c 2012 Information Processing Society of Japan⃝3

Vol.2012-MUS-96 No.7
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report
歌声波形

0

0.1

0.2
N

周波数 [kHz]

22.05

0.3
n

0.4
o

0.5
m

F0適応スペクトログラム

0.6

時間[s]

e
対応する音素(1) ピーク検出 ( )(3) 変換比率の線形補間 ( )(2) 変換比率の決定 ( )(4) 変換 ( )最小包絡以上となるよう最大包絡を変形 ( )(5) 平均を取り、F0以下の値をF0の値で置換 ( )最大包絡（古い）最小包絡（古い）最小包絡のピーク
新しい最小包絡0

最大包絡を変形して得た包絡

提案包絡

F0

40
振幅 [dB]

周波数 [kHz]

2.2

0

20
0
-20
-40

645.9941 Hzの周波数binにおける時間軌跡-600F0に起因する変動

図 6

1

2

3

4

5

6

8

9

10 11 12 13 14 15 16 17 18

周波数 [kHz]

最大包絡と最小包絡の平均として推定されたスペクトル包絡。
F0適応スペクトル

図 5

7

最大包絡

最大包絡（平滑化）

歌声波形とその F0 適応スペクトル（上図）とその拡大図（中図）、周波数 645.9961 Hz における時間方向の軌跡（下図）。

み、周波数帯域に応じてピークが時間方向に少しずつずれて出現する。本稿ではこれを F0 適応スペクトルと呼ぶ。

時間

図 7 多重フレーム統合分析によるスペクトルとその 2 次元ローパ
スフィルタをかけた時間方向の軌跡（図 5 の下図参照）。

3.3 多重フレーム統合分析
本稿における多重フレーム統合分析では、分析時刻近傍として −1/(2 × F0 )〜1/(2 × F0 ) の範囲（図 2）の F0 適応
スペクトルを用いる。この範囲は基本周期を意味し、予備実験では、統合範囲をこれ以下とした場合、スペクトルの谷が適切に埋まらなかった。以降、スペクトル包絡と群遅延の推定、それぞれについて述べる。

3.3.1 スペクトル包絡の推定
スペクトル包絡は、統合範囲のスペクトルにおける最大値（最大包絡）と最小値（最小包絡）の平均として定義する。単に最大包絡を用いないのは、分析窓のサイドローブの影響等が含まれている可能性を考慮するためである。ここで、最小包絡には F0 に起因する多数の谷が残っており、スペクトル包絡として扱いづらい。そこで本稿では、最大包絡を最小包絡にかぶせるように変形することで、包絡概形を保持しながらこれらの谷を除去する。
具体的には、まず最小包絡のピークを算出し、その周波数における最小包絡と最大包絡の振幅の比率を計算する。
この変換比率を周波数軸上で線形補間することで、全帯域の変換比率を得る。新しい最小包絡は、最大包絡にこの変換比率を乗じた後、古い最小包絡以上となるように変形して求める。図 6 にこれらの例と、算出の流れを示す。

2 次元ローパスフィルタによってこれを除去して、時間方向に滑らかなスペクトル包絡を得る（図 7）。最後に、F0以下の成分が多くの場合に安定して推定できないため、F0幅の窓による平滑化に相当する処理として F0 以下の包絡を F0 における振幅値で置き換える。

3.3.2 群遅延の推定
群遅延は、統合範囲の中で最も共振する時刻を表現する
ために、最大包絡に対応する群遅延の値として定義する（図 8）。そのようにして求めた群遅延を、推定時刻に対応
付けて F0 適応スペクトル上に重ねて描画した図を図 9 に示す。この図から分かるように、最大包絡に対応する群遅
延は、F0 適応スペクトルのピーク時刻にほぼ相当する。
このようにして得られた群遅延は、F0 に対応する基本周期に応じた時間軸方向の広がり（間隔）を持つため、時間軸方向に正規化して扱う。時刻 t、周波数 f における最大包絡に対応する群遅延を ĝ(f, t) とすると、基本周期（1/F0 (t)）
と、n × F0 (t) に対応する周波数 bin の値 ĝ(fn×F0 (t) , t) を用いて、正規化された群遅延 g(f, t) を得る。

g(f, t) =()
mod ĝ(f, t) − ĝ(fn×F0 (t) , t), 1/F0 (t)1×(4)
F0 (t)

また、最大・最小操作によって得られた包絡は、時間方

ここで mod (x, y) は、x を y で割った剰余を意味する。

向のステップ状の不連続性が残るため、時間-周波数軸上のまた、ĝ(f, t) − dg は、分析時刻の違いにおけるオフセット

c 2012 Information Processing Society of Japan⃝4

Vol.2012-MUS-96 No.7
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report

歌声波形

最大包絡

振幅 [dB]

60
40
20
0

最大包絡に対応する群遅延（白線）F0適応スペクトル-20

5最大包絡に対応する群遅延

F0 = 318.6284 Hz

4

0.048
0.047
0.046
0.045
0.044

0

1

2

3

4

周波数 [kHz]

周波数 [kHz]

群遅延 [s]0.049

基本周期 = 0.0031 [s] = 1 / 318.6284 [Hz]

図 8

3
2
1

最大包絡に対応する群遅延。

0を除去する操作であり、n = 1 もしくは n = 1.5 とした*3 。
以上の操作によって、群遅延 g(f, t) は (0, 1) の範囲で正

0.28

0.29

0.30

0.31

0.32

0.33 時間 [s]図 9 歌声波形とその F0 適応スペクトル（図 5 の中図参照）、及び最大包絡に対応する群遅延。

規化された値となる。しかし、基本周期による剰余処理と、基本周期を範囲として統合していることが原因で、次の問を指定した上で、それに基づいて単位波形を生成して重畳題が残る。

加算することで合成する。ここで、sin と cos で展開され(問題 1) 周波数方向に不連続性が発生する。

た群遅延 gx (f, t) と gy (f, t) から、最終的に以下の計算に(問題 2) 時間方向にステップ上の不連続性が発生する。

よって群遅延 g(f, t) に戻してから扱う。

以下、それぞれの解決法を述べる。

g(f, t) =まず問題 1 は、図 8 の F0 = 318.6284Hz 付近、1.25kHzgπ (f, t) =g (f,t)tan−1 ( gxy (f,t) )tan−1 ( gy (f,t) ) + π

付近、1.7kHz 付近等に見られるような不連続性の存在である。この群遅延情報を変形するなど、柔軟に扱いたい
場合に、このままでは都合が悪い。そこで、群遅延の値をgx (f,t)(−π, π) の範囲に正規化しなおし、sin と cos で展開すると、


(3 × π) /2




π/2

この不連続性が連続的に扱える。具体的には、次のように計算する。

gπ (f, t) = (g(f, t) × 2π) − π(5)gx (f, t) = cos (gπ (f, t))(6)gy (f, t) = sin (gπ (f, t))(7)(gπ (f, t) + π)
2π(8)(gx (f, t) > 0, gx (f, t) ̸= 0)(gx (f, t) < 0, gx (f, t) ̸= 0)(9)(gr (f, t) < 0, gx (f, t) = 0)
(gr (f, t) > 0, gx (f, t) = 0)

ただし、フォルマント周波数が変動する箇所などで、推定された群遅延の形状が急に変わり、特に低域でパワーが大きい場合に合成品質に多大な影響を及ぼすことがある。
これは、前述した F0 に起因する変動（図 5）が、ある周続いて問題 2 は、スペクトル包絡の推定と同様の問題で波数帯域において、F0 以上の速さで変動することが原因あり、そもそも波形の駆動が基本周期毎に起こることが原と考えられる。例えば図 9 において、500Hz 付近の方が因である。ここで、分析合成系として扱うためには、周期1500Hz 付近よりも変動が速い。これによって、図中央の間も連続的に変化した値となっていると都合が良いため、前後で、群遅延の形が変わってしまい、単位波形の形も変gx (f, t) と gy (f, t) をそれぞれ平滑化しておく。

わる*5 。現在の実装では、まず、同一の有声区間中では、

最後に、スペクトル包絡同様、F0 以下の成分が多くの場

群遅延 g(f, t) の低域で時間方向の不連続がなるべく発生

合に安定して推定できないため、F0 以下の正規化群遅延をしないように、新たな共通のオフセットを足して 1 で剰余

F0 における値で置き換える*4 。

（正規化されているため）を取った。次に、群遅延の低域に長い時定数のローパスフィルタをかけて、このような瞬間

3.4 スペクトル包絡と群遅延からの合成的な変動を除去することで対処した。

前述のようにして得られたスペクトル包絡と、正規化さそのようにして得られたスペクトル包絡と群遅延を、合れた群遅延を用いて合成するためには、従来の分析合成シ

成する F0 の基本周期で取り出し、それぞれの群遅延を合ステムと同様、時間軸伸縮や振幅の制御を行い、合成の F0

成時の基本周期を係数として乗ずる。その後、群遅延から*3*4n = 1 付近では不安定になる場合があり、その場合、調波構造の間の値を基準とした方が、安定した結果を得ることができた。
従来研究でも、F0 以下を零位相で置き換える処理が行われていた [33]。

c 2012 Information Processing Society of Japan⃝

位相スペクトルに変換し、スペクトル包絡と合わせて単位*5

関係は明らかではないが、正弦波パラメータ推定において、フォルマント周波数と交差する高調波成分が瞬間的に変動する現象がある（ [40] の Fig.4 から読み取れる）。

5Vol.2012-MUS-96 No.7
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report
提案スペクトログラム

表 1

0

STRAIGHTスペクトログラム

周波数 [kHz]

22.05

実験 B で用いた cascade-type Klatt 合成器 [43] の制御パラメータ。

周波数 [kHz]

22.05

0
0

0.1

0.2

0.3

0.5

0.6

時間[s]

記号

名称

F0

基本周波数

周波数 (Hz)125

F1

第 1 フォルマント周波数

250–1250

F2

第 2 フォルマント周波数

750–2250

F3

第 3 フォルマント周波数

2500

F4

第 4 フォルマント周波数

3500

F5

第 5 フォルマント周波数

4500

B1

第 1 フォルマントの帯域幅

62.5

B2

第 2 フォルマントの帯域幅

62.5

B3

第 3 フォルマントの帯域幅

125

B4

第 4 フォルマントの帯域幅

125

STRAIGHT スペクトル
最大包絡
最小包絡

B5

第 5 フォルマントの帯域幅

125

FGP

声門共振周波数

0

提案包絡

BGP

声門共振の帯域幅

100

60

表 2

振幅 [dB]

40
20
0

ID

F1 (Hz)F2 (Hz)ID

F1 (Hz)F2 (Hz)

-20

K01

250

750

K04

1000

1500

-40

K02

250

1500

K05

1000

2000

K03

500

1500

K06

500

2000

0

図 10

実験 B における cascade-type Klatt 合成器 [43] の F1 及びF2 の値。

1

2

3

4

5

6

7

8

9

10 11 12 13 14 15 16 17 18

周波数 [kHz]スペクトログラムの比較。提案手法（上図）、STRAIGHT
スペクトログラム（中図）、0.4 秒におけるそれぞれのスペク
トル包絡（下図）。

では、周波数 bin 数を、STRAIGHT で良く用いられる値である 2049 bins（FFT 長が 4096）、分析の時間単位を 1ms

波形を再構成 [32] して、重畳加算する。無声部分に関しては、さらにガウスノイズを畳込む。
ここで、単位波形の配置においては、分析窓としてハニング窓（足して振幅が 1 になる窓）を用いる場合、窓掛けの影響で原音声が変形されることはないが、時間・周波数分解能の向上と、サイドローブの影響（ハニング窓は低次のサイドローブの減衰が少ない）を減らすために、本研究では分析にガウス窓を用いている。そこで、文献 [32] と同様、合成の際に分析時のガウス窓をハニング窓に変換するような窓関数を掛けて合成する*6 。

4. 実験
提案手法におけるスペクトル包絡の推定精度は、従来、特に性能が高い STRAIGHT [27]、TANDEM-STRAIGHT [28]と比較する。実験には男性の無伴奏歌唱（ソロ）を RWC 研
究用音楽データベース [41]*7 から、女性の話声を AIST ハ
ミングデータベース（E008） [42] から、楽器音としてピアノとバイオリンの音を RWC 研究用音楽データベース [41]*8 からそれぞれ用いた。スペクトル包絡の推定精度の比較
*6

*7
*8

直流成分が除去されるような波形の違いがあった。ただし、文献 [33] でも述べられているように、聴取印象には影響がほとん
どなかった。
音楽ジャンル: RWC-MDB-G-2001 No.91。
楽器音: ピアノ（RWC-MDB-I-2001, No.01, 011PFNOM）とバイオリン（RWC-MDB-I-2001, No.16, 161VLGLM）。

c 2012 Information Processing Society of Japan⃝とした。提案手法においては、多重フレーム統合分析における統合処理を 1ms ごとに実行する時間単位を意味する。
また、群遅延の推定に関しては、自然音声の分析結果と、
群遅延を反映させた合成結果を更に分析した結果を比較する。ここで、群遅延の推定精度を確保するために、スペク
トル包絡の推定実験とは異なり、周波数 bin 数を 4097 bins
（FFT 長が 8192）と設定して実験した。

4.1 実験 A：スペクトル包絡の比較
本実験では、自然音声を対象として STRAIGHT スペク
トルと分析結果を比較する。
図 10 に STRAIGHT スペクトログラムと提案スペクト
ログラムを並べて表示し、0.4 秒におけるスペクトル包絡を重ねて表示している。提案した最大・最小包絡の間に

STRAIGHT スペクトルがあり、それは提案スペクトル包絡とほぼ類似していた。さらに、STRAIGHT によって推定した非周期成分を用いて、提案スペクトログラムから音を STRAIGHT で合成した聴取印象は、STRAIGHT スペ
クトログラムからの再合成と比べて劣るものではなかった。

4.2 実験 B：スペクトル包絡の再現
本実験では、スペクトル包絡と F0 が既知である合成音を用いて、その推定精度を評価する。具体的には、前述した自然音声及び楽器音を STRAIGHT で分析再合成した音

6

Vol.2012-MUS-96 No.7
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report

自然音声の分析結果
スペクトル包絡
22.05

正解包絡

周波数
[kHz]

STRAIGHT
TANDEM-STRAIGHT
提案包絡
存在範囲

0

(最大包絡と最小包絡)0-60

再合成音の分析結果

-80

0

1

2

3

周波数 [kHz]推定されたスペクトル包絡の比較 (Klatt: K05)。

と、cascade-type Klatt 合成器 [43] によってスペクトル包絡をパラメータ制御した合成音を用いた。
こで、第 1, 第 2 フォルマント周波数（F1 と F2）の値を、
表 2 に示すように設定してスペクトル包絡を生成し、これらのスペクトル包絡から F0 を 125 Hz として正弦波を重畳推定精度の評価には以下に示す対数スペクトル距離 LSDを用いた。ここで T は有声フレーム数、F は周波数 bin
数（= FH − FL + 1）、(FL , FH ) は評価における周波数範囲であり、Sg (t, f ) と Se (t, f ) がそれぞれ正解のスペクト
ル包絡と推定されたスペクトル包絡である。対数スペクト
ル距離を計算する際には、その形状を評価するために正規化係数 α(t) を Sg (t, f ) と α(t)Se (t, f ) の二乗誤差 ϵ2 が最小

ϵ =

群遅延

0

0.1

0.2

0.3

0.4

0.5

0.6 時間 [s]図 12

本手法によって再合成された音の分析結果。

に示す。再合成音における群遅延では、低域や全体にかけを再現して合成できており、合成品質も自然であった。

5. おわりに
本論文では、F0 適応多重フレーム統合分析法を提案し、高い精度と時間分解能でスペクトル包絡と群遅延を推定できることを示した。本手法は、話声・歌声・楽器音を既存手法で分析合成した信号と、Klatt の合成器によって合成した信号を用いて、対数スペクトル距離を算出して評価され、になるように算出した。

FH
∑

22.05

たローパスフィルタの結果が見られるが、全体的に群遅延

して、6 種類の音を合成した。

2

0

0

Klatt 合成器に与えたパラメータ一覧を表 1 に示す。こFH
T −1
Sg (t, f )1 ∑ 1 ∑
LSD =20 log10TFα(t) · Se (t, f )
t=0
f =FL
∑FH
f =FL Sg (t, f )Se (t, f )α(t) =∑FH
2
f =FL Se (t, f )スペクトル包絡

周波数
[kHz]

22.05

-100

周波数
[kHz]

振幅 [dB]

-40

図 11

群遅延

周波数
[kHz]

22.05

従来手法として STRAIGHT 及び TANDEM-STRAIGHT(10)と比較して、高い精度でスペクトル包絡を分析可能であること示した。さらに、スペクトル包絡は存在可能範囲を同時に推定しており、声質変換やスペクトル形状の変形、素(11)

片接続合成等において活用できる可能性がある。
また、群遅延を保存して合成できる可能性も示した。従(Sg (t, f ) − α(t)Se (t, f ))

(12)

f =FL

来の群遅延を用いた研究 [32, 33] では、群遅延を平滑化しても（谷を削っても）合成品質に影響がないことを示した

表 3 に評価結果を、図 11 に推定の一例を示す。提案手が、それに対して、複数フレームを統合することで谷を適法によって推定されたスペクトル包絡の対数スペクトル距

切に埋めることができた。群遅延が周波数帯域毎に、異な離は、14 サンプル中 13 サンプルにおいて STRAIGHT とる時刻で共振していること（図 9）から、単一のピッチマー

TANDEM-STRAIGHT のいずれかよりも低く、どちらよ

キングによる分析を超えて、より詳細に分析できた。

りも低かったのは 8 サンプルで最も多かった。この結果か

しかし、本稿では合成時にローパスフィルタを掛ける等

ら、提案手法は高品質な合成と高精度な分析に活用できるの処理を行うなど、群遅延を適切に扱いきれていない側面可能性が示唆された。

もある。また、現在の群遅延の定義では、音声の特性を完全に表現し切れておらず、今後は改善したい。例えば、最4.3 実験 C：群遅延の再現

大包絡に対応する群遅延（図 9）では、フォルマント周波

男性の無伴奏歌唱を入力として、本手法によってスペク

数の変動等が原因で、余分なノイズ（誤り）を含んでいる。

トル包絡と群遅延を推定し、それを再合成した結果を図 12

これは、最大包絡の算出時にピーク検出を行うことで除去

c 2012 Information Processing Society of Japan⃝7

Vol.2012-MUS-96 No.7
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report
表 3 実験 B における各手法で推定されたスペクトル包絡と正解の対数スペクトル距離。最小の値を アンダーライン で、二番目に小さい値を太字で示す。

音の

長さ

FL

FH

LSD （対数スペクトル距離） [dB]

種類

[s]

[kHz]

[kHz]

STRAIGHT

TANDEM

Proposed

歌声（男性）

6.5

0

6

1.09811.93881.4314

歌声（男性）

6.5

0

22.05

2.06822.32152.0538話声（女性）

4.6

06

2.10682.34342.0588話声（女性）

4.6

0

22.05

2.79372.77222.5908

楽器音（ピアノ）

2.9

0

6

3.66003.4127

3.1232

楽器音（ピアノ）

2.9

0

22.05

4.00243.59513.3649

楽器音（バイオリン）

3.6

0

6

1.14671.7994

1.3794

楽器音（バイオリン）

3.6

0

22.05

2.27112.36892.1012

Klatt (K01)

0.2

0

5

2.3131

1.6676

1.9491

Klatt (K02)

0.2

0

5

3.8462

1.59952.8278

Klatt (K03)

0.2

0

5

1.67641.47002.2954

Klatt (K04)

0.2

0

5

1.7053

1.26991.1271

Klatt (K05)

0.2

0

5

1.57591.23531.0643

Klatt (K06)

0.2

0

5

1.1712

1.2662

1.8197

歌声波形[2]

伊藤 仁，矢野雅文：話速変換音声の知覚的自然性に関する検討，電子情報通信学会技術研究報告 EA，pp. 13–18 (2008).

[3]

松原貴司，森勢将雅，西浦敬信：高品質音声合成における有声音の位相特性が知覚に与える影響，日本音響学会聴覚研究会資[4]5

周波数 [kHz]料，Vol. 40, No. 8, pp. 653–658 (2010).

最大包絡ピークに対応する群遅延（白線）F0適応スペクトル濱上知樹：音源波形形状を高調波位相により制御する音声合成方式，日本音響学会誌，Vol. 54, No. 9, pp. 623–631 (1998).

4

[5]

3

[6]

Flanagan, J. and Golden, R.: Phase Vocoder, Bell System
Technical Journal, Vol. 45, pp. 1493–1509 (1966).
Griﬃn, D. W.: Multi-Band Excitation Vocoder, Technicalreport (Massachusetts Institute of Technology. Research

2

Laboratory of Electronics) (1987).

1[7]

Itakura, F. and Saito, S.: Analysis Synthesis Telephonybased upon the Maximum Likelihood Method, Proc. 6th

0

0.28

0.29

0.30

0.31

0.32

0.33 時間 [s]図 13 歌声波形とその F0 適応スペクトル、及び最大包絡のピーク

ICA, pp. C17–20 (1968).
[8]

Atal, B. S. and Hanauer, S.: Speech Analysis and Synthesis by Linear Prediction of the Speech Wave, J. Acoust.

に対応する群遅延。図 9 と比べて群遅延の誤りが減った。

Soc. Am., Vol. 50, No. 4, pp. 637–655 (1971).

できるため（図 13）、包絡推定を含めて改良の余地がある。

[9]

Tokuda, K., Kobayashi, T., Masuko, T. and Imai, S.: Mel-

また、群遅延を適切に扱えれば、有声無声の区別なく扱え

generalized Cepstral Analysis – A Uniﬁed Approach to

るはずなので [32, 33]、現在無声部分の合成でガウスノイ

Speech Spectral Estimation, Proc. ICSLP1994, pp. 1043–
1045 (1994).

ズを畳込む必要がある点も今後は解決したい。
さらに、機械学習や音素ラベル情報等の追加情報を活用

[10]

謝辞

217–223 (1979).
[11]

本研究の一部は、科学技術振興機構 OngaCREST

Röbel, A. and Rodet, X.: Eﬃcient Spectral Envelope Estimation and Its Application to Pitch Shifting and Envelope

プロジェクトによる支援を受けた。また本研究では、RWC
研究用音楽データベース（音楽ジャンル、楽器音）、AIST

聖，阿部芳春：改良ケプストラム法によるスペクトル

包絡の抽出，電子通信学会論文誌，Vol. J62-A, No. 4, pp.

することで、より精度の高い手法への拡張を検討するとともに、本手法を用いて音声の特性を明らかにしてゆきたい。

今井

Preservation, Proc. DAFx2005, pp. 30–35 (2005).
[12]

Villavicencio, F., Röbel, A. and Rodet, X.: Extending
Eﬃcient Spectral Envelope Modeling to Mel-frequency

ハミングデータベースを使用した。

Based Representation, Proc. ICASSP2008, pp. 1625–1628

参考文献(2008).
[13][1]

Zölzer, U. and Amatriain, X.: DAFX - Digital Audio Ef-

Villavicencio, F., Röbel, A. and Rodet, X.: Improving
LPC Spectral Envelope Extraction of Voiced Speech byfects, Wiley (2002).

c 2012 Information Processing Society of Japan⃝

8

Vol.2012-MUS-96 No.7
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report[14]

True-Envelope Estimation, Proc. ICASSP2006, pp. 869–

Signals and Applications to Interference-free Spectrum,

872 (2006).

F0, and Aperiodicity Estimation, Proc. of ICASSP 2008,

Moulines, E. and Charpentier, F.:

Pitch-synchronous

Waveform Processing Techniques for Text-to-speech Syn-[15]

pp. 3933–3936 (2008).
[29]

thesis Using Diphones, Speech Communication, Vol. 9,を強調した F0 適応型スペクトル包絡抽出法の最適化と評価，

No. 5-6, pp. 453–467 (1990).

電子情報通信学会論文誌，Vol. J94-A, No. 8, pp. 557–567

McAulay, R. and T.Quatieri: Speech Analysis/Synthesis
Based on A Sinusoidal Representation, IEEE Trans.

(2011).
[30]

[19]

[31]

Signals for Voice Synthesis System, Acoust. Sci. & Tech.,

Serra, X. and Smith, J.: Spectral Modeling Synthesis:

Vol. 33, No. 2, pp. 123–125 (2012).
[32]

平滑化群遅延を用いた短時間位相の効率的表現方法，電子情報

Vol. 14, No. 4, pp. 12–24 (1990).

通信学会論文誌，Vol. J84-D-II, No. 4, pp. 621–628 (2001).

Stylianou, Y.: Harmonic plus Noise Models for Speech,[33]

域平滑化群遅延による位相制御を用いた声質制御方式，電子

Modification.

情報通信学会論文誌，Vol. J83-D-II, No. 11, pp. 2276–2282

Depalle, P. and Hélie, T.: Extraction of Spectral Peak Pa-

George,E.

andSynthesis/Overlap-Add(2000).
[34]

Smith,

M.:

Sinusoidal

Modeling

AppliedGaussians, Proc. ICASSP 2004, pp. 553–556 (2004).
[35]

[24]

trum Modeling for Joint Estimation of Spectral Envelopeof the Audio Engineering Society, Vol. 40, No. 6, pp.

and Fundamental Frequency, Vol. 18, No. 6, pp. 2502–2505(2006).

Pantazis, Y., Rosec, O. and Stylianou, Y.: Iterative Esti-[36]

of Synthesis Units by Closed Loop Training for Totallycessing Letters, Vol. 17, No. 5, pp. 461–464 (2010).

Speaker Driven Text to Tpeech System (TOS Drive TTS),
Proc. ICSLP1998, pp. 1927–1930 (1998).

Abe, M. and Smith III, J. O.: Design Criteria for Sim[37]lope of Voiced Speech Using Multi-frame Analysis, Proc.

Convention (2004).

EUROSPEECH2003, pp. 1737–1740 (2003).

Bonada, J.: Wide-Band Harmonic Sinusoidal Modeling,[38]

Tract Transfer Function Estimation Based on Factor An-

Ito, M. and Yano, M.: Sinusoidal Modeling for Nonstation-

alyzed Trajectory HMM, Proc. ICASSP2008, pp. 3925–

Pavlovets, A. and Petrovsky, A.:

3928 (2008).
[39]

Fujihara, H., Goto, M. and Okuno, H. G.: A Novel Framework for Recognizing Phonemes of Singing Voice in Poly-

Robust HNR-based

Proc. INTERSPEECH2011, pp. 1981–1984 (2011).

phonic Music, Proc. WASPAA2009, pp. 17–20 (2009).
[40]

Ito, M., Ohara, K., Ito, A. and Yano, M.: Source-ﬁlter
Separation for Nonstationary Voiced Speech Based on Si-

Kameoka, H., Ono, N. and Sagayama, S.: Auxiliary Function Approach to Parameter Estimation of Constrained

nusoidal Representation, Acoust. Sci. & Tech., Vol. 31,

Sinusoidal Model for Monaural Speech Separation, Proc.

No. 2, pp. 181–184 (2010).

ICASSP 2008, pp. 29–32 (2008).

[41]

後藤真孝，橋口博樹，西村拓一，岡 隆一：RWC 研究用音楽

Kawahara, H., Masuda-Katsuse, I. and de Cheveigne,

データベース:研究目的で利用可能な著作権処理済み楽曲・楽A.: Restructuring Speech Representations Using a Pitch

器音データベース，情報処理学会論文誌，Vol. 45, No. 3, pp.

Adaptive Time-frequency Smoothing and an Instantaneous Frequency Based on F0 Extraction: Possible Role of

728–738 (2004).
[42]Vol. 27, pp. 187–207 (1999).
Kawahara, H., Morise, M., Takahashi, T., Nisimura, R.,

後藤真孝，西村拓一：AIST ハミングデータベース：歌声研究用音楽データベース，情報処理学会研究報告，2005-MUS-61,

a Repetitive Structure in Sounds, Speech Communication,[28]

Toda, T. and Tokuda, K.: Statistical Approach to Vocal

Proc. DAFx-08, pp. 265–272 (2008).

Closed-loop Pitch and Harmonic Parameters Estimation,[27]

Shiga, Y. and King, S.: Estimating the Spectral Enve-

Interpolation of FFT Magnitude Peaks, Proc. AES 117th

Acoust. Soc. Am., Vol. 121, No. 3, pp. 1717–1727 (2007).

[26]

Akamine, M. and Kagoshima, T.: Analytic Generation

mation of Sinusoidal Signal Parameters, IEEE Signal Pro-ary Voiced Speech based on a Local Vector Transform, J.
[25]

Kameoka, H., Ono, N. and Sagayama, S.: Speech Spec-to The Analysis and Synthesis of Musical Tones, Journal

ple Sinusoidal Parameter Estimation based on Quadratic[23]

Zolfaghari, P., Watanabe, S., Nakamura, A. and Katagiri,S.: Modelling of the Speech Spectrum Using Mixture ofAnalysis-by-

497–515 (1992).

[22]

坂野秀樹，陸 金林，中村 哲，鹿野清宏，河原英紀：時間領

combined with Statistical Methods, for Speech and Speaker

and No Sidelobe Windows, Proc. WASPAA1997 (1997).

[21]

坂野秀樹，陸 金林，中村 哲，鹿野清宏，河原英紀：時間領域

Plus Stochastic Decomposition, Computer Music Journal,

rameters Using a Short-time Fourier Transform Modeling[20]

Morise, M.: PLATINUM: A Method to Extract Excitation

Representation, Proc. ICMC 1987, pp. 290–297 (1987).
A Sound Analysis/Synthesis Based on A Deterministic[18]

会論文誌，Vol. J94-D, No. 7, pp. 1079–1087 (2011).

Smith, J. and Serra, X.: PARSHL: An Analysis/Synthesis
Program for Non-harmonic Sounds Based on A Sinusoidal[17]

森勢将雅，松原貴司，中野皓太，西浦敬信：高品質音声合成を目的とした母音の高速スペクトル包絡推定法，電子情報通信学

ASSP, Vol. 34, No. 4, pp. 744–755 (1986).
[16]

赤桐隼人，森勢将雅，入野俊夫，河原英紀：スペクトルピーク

pp. 7–12 (2005).
[43]

Klatt, D. H.: Software for A Cascade/parallel Formant

Irino, T. and Banno, H.: Tandem-STRAIGHT: A Tempo-

Synthesizer, J. Acoust. Soc. Am., Vol. 67, pp. 971–995

rally Stable Power Spectral Representation for Periodic(1980).

c 2012 Information Processing Society of Japan⃝

9