情報処理学会研究報告
IPSJ SIG Technical Report

韻律・音韻の部分補正に基づく話者性を保持した日本人英語
音声合成と英語習熟度が与える影響
大島 悠司1

高道 慎之介1

戸田 智基1

Sakriani Sakti1

Graham Neubig1

中村 哲1

概要：声質変換や HMM 音声合成を用いた日英間クロスリンガル音声合成は，同言語間の場合と比較して，話者性の低い音声を合成する傾向にある．これに対し我々は，日本人英語（ERJ: English Read by

Japanese）の利用，また，日本人英語の韻律誤りに対する韻律補正法により，話者性を強く反映しつつ自然性を改善する手法を提案している．しかしながら，評価者の母語と発話者の英語習熟度に対する補正法の影響の違いは十分に調査されておらず，また，日本人英語の自然性低下の要因である音韻誤りについても考慮されていない．本稿では，評価者の母語と発話者の英語習熟度が韻律補正の効果に与える影響を調査するとともに，新たに無声子音スペクトル置換に基づく音韻補正法を提案する．実験的評価により，（１）パワー補正による自然性の改善効果は，英語母語話者による評価において顕著に見られること，（２）英語
習熟度に関わらず，韻律補正法により自然性が改善すること，（３）音韻補正法も自然性改善に有効である
ことを示す．
キーワード：日本人英語, HMM 音声合成, 韻律補正, 音韻補正, 話者性

English-Read-By-Japanese Speech Synthesis Preserving Speaker
Individuality Based on Partial Correction of Prosody and Phonetic
Sounds and Eﬀects of English Proficiency Level on Its Performance
Yuji Oshima1

Shinnosuke Takamichi1 Tomoki Toda1
Satoshi Nakamura1

Sakriani Sakti1

Graham Neubig1

Abstract: Cross-lingual speech synthesis for generating naturally sounding English speech uttered by
Japanese speakers based on voice conversion and HMM-based speech synthesis tends to cause the degradation of speaker individuality in synthetic speech compared to intra-lingual speech synthesis. To address
this issue, we have proposed an ERJ(English Read by Japanese) speech synthesis method to preserve speakerindividuality in synthetic speech and a prosody correction method to improve its naturalness. However, theireﬀectiveness has never been evaluated by native listeners: the eﬀects of each speaker’s English proficiency
level on their performance have never been evaluated; and incorrect phonetic sounds of ERJ have never beenaddressed. In this paper, we evaluate these points by applying the proposed method to multiple speakers withvarious English proficiency levels and also propose a correction method of some incorrect phonetic sounds
based on spectrum swapping for unvoiced consonants. The experimental results demonstrate that (1) theeﬀectiveness of power correction is well confirmed by native listeners; (2) the naturalness of ERJ synthetic
speech is successfully improved over various English prociency levels by the prosody correction method; and(3) the proposed phonetic sound correction method is also eﬀective for further improving its naturalness.
Keywords: English-Read-by-Japanese (ERJ), HMM-based speech synthesis, prosodical correction, phonetic
correction, speaker individualityc 2012 Information Processing Society of Japan⃝1

情報処理学会研究報告
IPSJ SIG Technical Report

1. はじめにƵƌĂƚŝŽŶ
ŵŽĚĞů

クロスリンガル音声合成は，ある言語の発話者の話者性を異言語の合成音声に反映させる技術であり，話者性による情報源の特定を促し，円滑なコミュニケーションを促進する役割を担う．特に日本では，日英間における合成技術䠆ĚĂƉƚĂƚŝŽŶ

䠖ĚĂƉƚĂƚŝŽŶĚĂƚĂĚĂƉƚďǇƋ͘;ϮͿΘ;ϯͿ

,DD^ƉĞĐƚƌĂů
ŵŽĚĞů^ŽƵƌĐĞƐƉĞĂŬĞƌ͛ƐŵŽĚĞů

ǆĐŝƚĂƚŝŽŶ
ŵŽĚĞů

の需要が高く，音声翻訳システム，海外映画の吹き替えや䠆䠆 䠆 䠆 䠆dĂƌŐĞƚ
^ƉĞĂŬĞƌ͛ƐŵŽĚĞů

図 1 HMM 音声合成におけるモデル適応

CALL システム [1] への応用が期待される．
これまでに，統計的声質変換技術 [2] や隠れマルコフモデ

Fig. 1 Model adaptation in HMM-based speech synthesis.

ル （HMM: Hidden Markov Model）に基づく音声合成 [3]ある話者の HMM から目標話者の HMM を構築できる．予における話者適応技術 [4] において，英語を母語とする話

め学習しておいた適応元モデルと目標話者の適応データを者の音声に対して，バイリンガル音声や日本語音声といっ用いて，適応元モデルのパラメータを変形することで，目た自然性の高い音声データを活用した話者変換処理を施す

標話者へと適応されたモデルが得られる．適応後の平均ベ手法 [5], [6], [7] が広く研究されている．これらの手法は，

クトル µ̂c と共分散行列 Σ̂c は次式で計算される．

比較的高い自然性を持つ英語音声を合成できる一方で，同一言語間における合成音声と比較すると，話者性の劣化を招く傾向がある [5]．

µ̂c = Aµc + b(2)Σ̂c = AΣc AT(3)

これに対し我々は，日本人英語（ERJ: English Read by

ここで，適応行列 A とバイアスベクトル b は回帰パラメー

Japanese）[8] を利用したモデル構築，また，日本人英語のタであり，複数の分布が属する回帰クラスごとに推定され韻律誤りに対する韻律補正法により，話者性を強く反映しる．HMM 音声合成では，スペクトルパラメータ，音源パつつ自然性を改善する手法を提案している [9]．しかしな

ラメータ，状態継続長が正規分布でモデル化されており，がら，本提案法の評価条件は，日本語母語話者から成る評

それら全てに対して適応処理が行われる．これにより，分価者と少数発話者のみに留まっており，評価者の母語と発節的特徴のみでなく韻律的特徴も同時に適応可能になる．

話者の英語習熟度による影響が調査されていない．また，

パラメータ生成時には，入力テキストを解析することで日本人英語の自然性低下の要因である音韻誤りが考慮され得られるコンテキストに基づき，文 HMM を構築する．そていないため，得られる自然性改善効果は限定される．

の後，継続長モデルの尤度最大化により状態継続長を決

本稿では，評価者の母語と発話者の英語習熟度が韻律補定したのち，静的・動的特徴量間の明示的な制約の下で，正の効果に与える影響を調査するとともに，無声子音スペ

HMM の尤度最大化によりパラメータを生成 [11] し，ボ

クトル置換に基づく音韻補正法を提案する．実験的評価に

コーダに基づく波形生成処理を経て音声が合成される．

より，（１）パワー補正による自然性の改善効果は，英語母度に関わらず，韻律補正法により自然性が改善すること，

3. 日本人英語音声合成における韻律補正法と音韻補正法（３）音韻補正法も自然性改善に有効であることを示す．

3.1 モデル適応による韻律補正法

語話者による評価において顕著であること，（２）英語習熟

図 2 にモデル適応による韻律補正法の概要を示す．ま2. HMM 音声合成における適応技術

ず，英語母語話者の英語音声を用いて，英語母語話者に対

図 1 に HMM 音声合成におけるモデル適応の概要図をする話者依存 HMM を学習する．観測データとして用いる示す．HMM 音声合成では，音声のスペクトルパラメータ，

音声パラメータは，対数パワー，スペクトル包絡パラメー

音源パラメータ，状態継続長を，HMM に基づく統一的な枠

タ，音源パラメータであり，各パラメータに対する出力確組みでモデル化する [10]．コンテキストクラスタリングに率分布と状態継続長分布が得られる．次に，目標日本語母よるクラス c の出力確率分布 bc (ot ) は，次式で表される．

語話者の話者性を反映した英語音声合成用 HMM を構築す

bc (ot ) = N (ot ; µc , Σc )

(1)

[
]
⊤
⊤ ⊤
ただし，ot = c⊤は，時刻 t における静的t , ∆ct , ∆∆ct

るために，目標話者の日本人英語音声を用いて， 英語母語話者の HMM を適応する．本手法では，日本人英語音声の自然性を劣化させる要因として，継続長及びパワーに着目

特徴量 ct とその一次と二次の動的特徴量 ∆ct ，∆∆ct の結し，状態継続長と対数パワー以外に対するモデルパラメー

合ベクトルを表し，N (·; µc , Σc ) は，平均 µc ，共分散行列

タのみを適応することで，英語母語話者の韻律を考慮した

Σc を持つ正規分布を表す．

日本人英語の HMM を構築する．本適応法により，目標日

1

HMM 音声合成では，モデル適応技術を用いることで，本語母語話者の話者性を出来る限り保持したまま，自然性

奈良先端科学技術大学院大学が改善された日本人英語音声の合成が可能になる [9]．

情報科学研究科

c 2012 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report
表 1

評価に用いる手法

Table 1 Synthetic speech samples used for evaluation.
手法名

学習データ

適応データ

韻律補正

音韻補正

ERJ

日本人英語

–

なし

なし

HMM+VC

英語母語話者英語

–

–

–

Adapt

英語母語話者英語

日本人英語

なし

なし

Dur.

英語母語話者英語

日本人英語

状態継続長

なし

Dur.+Pow.

英語母語話者英語

日本人英語

状態継続長，対数パワーなし

Dur.+Pow.+UVC

英語母語話者英語

日本人英語

状態継続長，対数パワー

無声子音スペクトル

Native英語母語話者英語

–

–

–

2

3.2 無声子音スペクトル置換による音韻補正

Z:ƐƉĞĞĐŚ

図 3 に無声子音スペクトル置換に基づく音韻補正法の手順を示す．提案法では，英語母語話者のスペクトルパラ
メータを部分的に使用することで，日本人英語の音韻を補で，無声子音の話者依存性は小さいと予想される．そのため，日本人英語の無声子音の置換により，話者性を保持しまず，英語母語話者 HMM と韻律補正された日本人英語^ƉĞĐƚƌƵŵ
ĚĂƉƚEĂƚŝǀĞ,^DDƐ

正する．音高や母音は話者性知覚に強く影響する [12] 一方つつ自然性を改善できると考えられる．

^ƉĞĐƚƌƵŵ

EĂƚŝǀĞŶŐůŝƐŚ
ƐƉĞĞĐŚ

ǆĐŝƚĂƚŝŽŶ

ǆĐŝƚĂƚŝŽŶ

WŽǁĞƌ

WŽǁĞƌ

ƵƌĂƚŝŽŶ

ƵƌĂƚŝŽŶ

Z:,^DDƐǁŝƚŚŵŽĚŝĨŝĞĚ
ƉƌŽƐŽĚǇ

図 2 モデル適応による韻律補正の概要

Fig. 2 An overview of the prosody correction method based onmodel adaptation technique.

HMM から，それぞれ音声パラメータを生成する．ここで，各 HMM は同一の継続長モデルを有するため，生成パラEĂƚŝǀĞ,^DDƐ

メータは時間的に対応付けられていることに注意する．次に，日本語母語話者のスペクトルパラメータ系列のうち，無声子音に対応するフレームのみを，英語母語話者のスペ^ƉĞĐƚƌĂůƉĂƌĂŵĞƚĞƌ
^ǁĂƉƵŶǀŽŝĐĞĚĐŽŶƐŽŶĂŶƚ
ǁŝƚŚEĂƚŝǀĞ͛ƐZ:,^DDƐǁŝƚŚŵŽĚŝĨŝĞĚ
ƉƌŽƐŽĚǇ

^ǇŶƚŚĞƐŝƐ

WŚŽŶĞŵĞŵŽĚŝĨŝĞĚƐǇŶƚŚĞƚŝĐƐƉĞĞĐŚŽĨZ:ƐƉĞĂŬĞƌ

^ƉĞĐƚƌĂůƉĂƌĂŵĞƚĞƌ
ǆĐŝƚĂƚŝŽŶƉĂƌĂŵĞƚĞƌ

クトルパラメータに置換する．置換の際に，置換後のスペクトルと元の有声／無声情報の不一致により生じる音質劣化を回避するため，無声子音のフレームにおける英語母語話者の F0 が有声である場合，当該フレームを置換しない．

図 3

無声子音スペクトル置換による音韻補正の概要

Fig. 3 An overview of the phoneme correction method basedon spectrum swapping of the unvoiced consonants.

トリームで学習する．モデル適応は CSMAPLR+MAP[16]を利用し，回帰行列には静的特徴量，1 次と 2 次の動的特4. 実験的評価

徴量に対応したブロック対角行列を用いる．ただし適応時

4.1 実験条件には，適応データの話者と同じ性別の英語母語話者のデー

学習データとして，CMU ARCTIC 音声データベース [13]タで学習された HMM を用いる．

中の英語母語話者の男女各 1 名による A セット 593 文を提案法による韻律補正の効果を評価するために，表 1 に用いる．評価データは同 B セット 50 文とする．学習デー

示す手法による合成音声を用いて，話者性，自然性及び明タ，評価データ，及び，適応データのサンプリング周波数は瞭性に関する主観評価を実施する．

16 kHz である．音声パラメータの分析には STRAIGHT 分
析 [14] を使用し，スペクトル特徴量として，対数パワーおよ4.2 モデル適応による韻律補正の効果

び 1 次から 24 次のメルケプストラム係数を用いる．音源

4.2.1 韻律補正法における評価者の母語の影響特徴量として，対数 F0 及び 5 周波数帯域における平均非周

目標話者は，20 代男性の日本語母語話者 2 名とする．内期成分を用いる．フレームシフトは 5 ms とする．これらの一人は，留学経験の無い大学院生であり，日本の標準的な音声パラメータに 1 次と 2 次の動的特徴量を加えたものを

英語教育を受けてきた話者である（“Monolingual”）．もう観測ベクトルとし，5 状態 left-to-right 型の HSMM[15] の一人は，1 年間オーストラリアへの留学経験のある大学生

学習を行う．対数パワーとメルケプストラム係数は同一スであり，英語習熟度が高い話者である（“Bilingual”）．上記 2 名が発声した ARCTIC 音声データベース中の A セッ

2

従来法 [5]（ただし，一対多話者変換ではなく日本人英語を用いた一対一話者変換を使用）に基づき，英語母語話者の話者依存
HSMM の出力音声パラメータに対して，GMM に基づく統計的声質変換を適用

c 2012 Information Processing Society of Japan⃝

ト 593 文を適応データとして使用する．
話者性の評価では，目標日本語母語話者の日本語分析合
成音声をリファレンスとした 5 段階 DMOS（Degradation3

情報処理学会研究報告
IPSJ SIG Technical Report

Mean Opinion Score）評価を実施する．評価する手法は，

ϱϱϵϱйŽŶĨŝĚĞŶĐĞŝŶƚĞƌǀĂů

ϵϱйŽŶĨŝĚĞŶĐĞŝŶƚĞƌǀĂů“ERJ”，“HMM+VC”，“Adapt”，“Dur.”，“Dur.+Pow.”ϰする．評価する手法は，“ERJ”，“HMM+VC”，“Adapt”，“Dur.”，“Dur.+Pow.”，“Native”の 6 つである．なお，各

ϰ

DK^

関する 5 段階 MOS（Mean Opinion Score）評価を実施

DK^の 5 つである．自然性の評価では，英語音声の自然性に

ϯ

ϯ

Ϯ

Ϯ

ϭ

ϭ

ŝůŝŶŐƵĂů（“ERJ” と “Adapt”）における評価者の母語の影響に着目

図 4Ƶƌ͘нWŽǁ͘Z:,DDнsĚĂƉƚƵƌ͘Ƶƌ͘нWŽǁ͘

韻律補正法に対する話者性に関する主観評価結果

prosody correction method.
ϱする傾向が見られる．次に，英語母語話者のパワーを反映した手法（“HMM+VC” と “Dur.+Pow.”）に着目すると，

ϱϵϱйŽŶĨŝĚĞŶĐĞŝŶƚĞƌǀĂů

ϵϱйŽŶĨŝĚĞŶĐĞŝŶƚĞƌǀĂů

ϰ

ϰ

DK^

者による評価では，日本語母語話者による評価と比較して，DŽŶŽůŝŶŐƵĂů

Fig. 4 Results of subjective evaluation of individuality for

は，日本語母語話者によるスコアと比較して，大きく減少

図 5 に示す自然性に関する評価結果において，英語母語話

ŝůŝŶŐƵĂů

;ďͿǀĂůƵĂƚĞĚďǇŶŐůŝƐŚƐƉĞĂŬĞƌƐ

;ĂͿǀĂůƵĂƚĞĚďǇ:ĂƉĂŶĞƐĞƐƉĞĂŬĞƌƐ

異なる母語を持つ評価者間で同程度である一方で，図 5 の(a) と (b) の比較から，英語母語話者による自然性のスコアDŽŶŽůŝŶŐƵĂů

DK^する．図 4 の (a) と (b) の比較から，話者性のスコアは，

Z:,DDнs
ĚĂƉƚƵƌ͘

自然性に関する評価結果を示す 3 ．まず，補正無しの手法Ƶƌ͘нWŽǁ͘

図 4 と図 5 にそれぞれ，韻律補正法に対する話者性とZ:,DDнs
ĚĂƉƚ
Ƶƌ͘

Z:
,DDнs
ĚĂƉƚƵƌ͘

語及び英語母語話者各 6 名により実施する．

Ƶƌ͘нWŽǁ͘

評価は，目標話者毎に作成した実験セットを用いて，日本ϯϯ

相対的なスコアの上昇がみられる．これらの結果は，英語
Ϯ

Ϯ

ϭ

ϭ

得している．また，話者性に関する評価においても，“Dur.”と “Dur.+Pow.” は “ERJ”と同等の話者性を保持している．
このことから，提案する韻律補正法の有効性が確認できる．
以上の結果から，日本語母語話者と英語母語話者との間には評価結果に違いが生じており，英語母語話者の方がより英語発話の韻律に対して敏感であることが確認でき，まŝůŝŶŐƵĂů

DŽŶŽůŝŶŐƵĂů

;ĂͿǀĂůƵĂƚĞĚďǇ:ĂƉĂŶĞƐĞƐƉĞĂŬĞƌƐ
図 5

Z:,DDнsĚĂƉƚƵƌ͘Ƶƌ͘нWŽǁ͘EĂƚŝǀĞ

“Dur.” と “Dur.+Pow.” は他の手法よりも高いスコアを獲Z:,DDнsĚĂƉƚƵƌ͘Ƶƌ͘нWŽǁ͘EĂƚŝǀĞ

なお，両母語話者による自然性に関する評価において，

Z:,DDнsĚĂƉƚƵƌ͘Ƶƌ͘нWŽǁ͘EĂƚŝǀĞ

母語話者よりも過敏であるためだと考えられる．

Z:,DDнsĚĂƉƚƵƌ͘Ƶƌ͘нWŽǁ͘EĂƚŝǀĞ

発話のリズムおよび強勢に対して，英語母語話者は日本語ŝůŝŶŐƵĂů

DŽŶŽůŝŶŐƵĂů

;ďͿǀĂůƵĂƚĞĚďǇŶŐůŝƐŚƐƉĞĂŬĞƌƐ

韻律補正法に対する自然性に関する主観評価結果

Fig. 5 Results of subjective evaluation of naturalness for
prosody correction method.

語話者 6 名により実施する．

た，提案法による継続長及びパワー補正により，日本語母

図 7 に，英語習熟度（“High” と “Low”）毎に集計した，語話者の話者性を保持しつつ，英語母語話者にとって自然

韻律補正法に対する話者性と自然性に関する主観評価結果

性の高い英語音声を合成できることが分かる．

を示す．まず話者性に関する評価結果において，GMM 声質

4.2.2 韻律補正法における発話者の英語習熟度の影響

変換を利用した手法 “HMM+VC”に着目すると，“Low”に適応データは，日本人学生による読み上げ英語音声デー

対して，全モデルパラメータを適応した手法 “Adapt”と比タベース [8] 中の最高（ High ）もしくは最低（ Low ）英語較して，話者性が大きく劣化する傾向が見られる．“High”

習熟度スコアを持つ男女計 4 名による TIMIT[17] 60 文とにおいても，劣化の程度は小さくなるが，同様の傾向が見する．ただし，本稿の英語習熟度は，データベース中で定義られる．一方で，提案法の継続長およびパワーを補正したされている複数の基準（音素生成，リズム等）における評定“Dur.+Pow.”に関しては，英語習熟度に関係なく “Adapt”

点の平均を指す．評価法は 4.2.1 節と同様（ただし，話者性と同等の話者性を保っていることが分かる．

の評価では，目標日本語母語話者の日本人英語分析合成音

次に，自然性に関する評価結果を見ると，“HMM+VC”

声をリファレンスとする点のみ異なる）であり，話者性の評と比較し，“Adapt”は”Low”において大幅な劣化を生じさ

価では “HMM+VC”，“Adapt”，“Dur.+Pow.” の 3 つ，自せることが分かる．これに対し，“Dur.+Pow.”は，韻律補

然性の評価では “HMM+VC”， “Adapt”， “Dur.+Pow.”，

正により自然性劣化を防ぐことが可能であり，英語習熟度“Native” の 4 つの手法を評価する．なお，各評価は，全日に関係なく “HMM+VC”と同等の自然性が得られることが本語母語話者の音声を含んだ実験セットを用いて，英語母分かる．
以上の結果から，英語習熟度に関わらず，提案法が頑健

3

ただし，図 4 (a) と図 5 (a) は [9] の再掲である．

c 2012 Information Processing Society of Japan⃝に動作することを確認でき，継続長及びパワー補正により，4情報処理学会研究報告
IPSJ SIG Technical Report

ĂĂ

Ŷ

Ɛ
Ăǆ Ŷ
Ƶƌ͘нWŽǁ͘

Ăǆ

Ŷ

ƚ

ϱ

Ɛ

ϱ

ϵϱйŽŶĨŝĚĞŶĐĞŝŶƚĞƌǀĂů

ϵϱйŽŶĨŝĚĞŶĐĞŝŶƚĞƌǀĂů

0

ϰ

>Žǁ

,ŝŐŚ
各種合成音声のスペクトログラム（発話文中の “consonants”
図 7WƌĞĨĞƌĞŶĐĞƐĐŽƌĞ

Ϭ͘ϴ
Ϭ͘ϲ
Ϭ͘ϰ

語母語話者の日本人英語分析合成音声をリファレンスとしたプリファレンステスト (XAB テスト) を実施する．評価,ŝŐŚする手法は，“Dur.+Pow.”，“Dur.+Pow.+UVC”の 2 つで;ĂͿ/ŶĚŝǀŝĚƵĂůŝƚǇ

ファレンステスト (AB テスト) を実施する．評価する手法
は，“Dur.+Pow.”，“Dur.+Pow.+UVC”，“Native”の 3 つEĂƚŝǀĞ

ĚĂƉƚƵƌ͘нWŽǁ͘EĂƚŝǀĞ

,DDнs

ĚĂƉƚ

図 8

>Žǁ

,ŝŐŚ

EĂƚŝǀĞ

Ƶƌ͘нWŽǁ͘ϬƵƌ͘нWŽǁ͘нhs

4 名による TIMIT 60 文とする．話者性の評価では，日本Ϭ͘ϮEĂƚŝǀĞ

文，並びに，4.2.2 節の “High” もしくは “Low” に属するϬ͘ϰƵƌ͘нWŽǁ͘нhsϬϬ͘ϲƵƌ͘нWŽǁ͘gual” による ARCTIC 音声データベース中の A セット 60ϵϱйŽŶĨŝĚĞŶĐĞŝŶƚĞƌǀĂůϬ͘ϴƵƌ͘нWŽǁ͘нhsϬ͘ϮƵƌ͘нWŽǁ͘

適応データは， 4.2.1 節の “Monolingual” 及び “Bilin-

ある．自然性の評価では，英語音声の自然性に関するプリϭϵϱйŽŶĨŝĚĞŶĐĞŝŶƚĞƌǀĂů

Ƶƌ͘нWŽǁ͘

4.3 無声子音スペクトル置換による音韻補正の効果WƌĞĨĞƌĞŶĐĞƐĐŽƌĞ

日本人英語の話者性を保持しつつ，自然性の高い英語音声
度の低い話者において特に有効であることが分かる．

英語習熟度毎に計算した主観評価結果（韻律補正法）(prosody correction method).
ϭを合成できることが分かる．また，補正効果は，英語習熟>Žǁ;ďͿEĂƚƵƌĂůŶĞƐƐ

Fig. 7 Results calculated in each English proficiency levelƵƌ͘нWŽǁ͘нhs

for a word fragment “consonants”,ŝŐŚ;ĂͿ/ŶĚŝǀŝĚƵĂůŝƚǇ

という単語に対応）の例．

Fig. 6 Example of spectrograms of synthetic speech samples,DDнs

,DDнs

68Ƶƌ͘нWŽǁ͘DK^ϭƵƌ͘нWŽǁ͘

ϭ
ĚĂƉƚ

Ϯ

2
4

図 6

ϯ

Ϯ

,DDнs

EĂƚŝǀĞ

0ϯƵƌ͘нWŽǁ͘Ƶƌ͘нWŽǁ͘нhs

0
2
4
6
8

ϰ

ĚĂƉƚ

2
4
6
8

DK^

&ƌĞƋƵĞŶĐǇ΀Ŭ,ǌ΁Frequency (kHz)Frequency (kHz)Frequency (kHz)Ŭ>Žǁ;ďͿEĂƚƵƌĂůŶĞƐƐ

英語習熟度毎に計算した主観評価結果（音韻補正法）

Fig. 8 Results calculated in each English proficiency level(phoneme correction method).

である．各評価は，全ての日本語母語話者の音声を含んだ“Dur.+Pow.+UVC”は “Dur.+Pow.”と同等の自然性及び実験セットを用いて，英語母語話者 6 名により実施する．

話者性を保持できることが分かる．なお，“Dur.+Pow.”と

ただし，評価結果は英語習熟度毎に計算し，“Monolingual”“Dur.+Pow.+UVC”に対し，t 検定を行ったところ，“Low”と “Bilingual” はそれぞれ，“Low” と “High” に属するもの自然性のみ有意差が確認された（p < .01）．

のとする．
図 6 に，各手法によるスペクトルグラムの例を示す．図から，“Native”と比較し，“Dur.+Pow.”では無声子音部分

以上の結果から，韻律補正法と同様に，提案した音韻補正法も自然性改善に有効であり，特に英語習熟度の低い話者において有効であることが分かる．

（/s/など）において，特に高周波数領域におけるスペクト
ル包絡の形状が大きく異なることが分かる．これは，パワー補正を実施した際に，異音を生じさせる要因となる．

4.4 明瞭性に関する評価
提案法に対して，明瞭性に関する書き取り試験を実施

これに対し，“Dur.+Pow.+UVC”では，“Native”同様のス

する．評価データは SUS[18] 50 文とし，評価する手法は，ペクトル包絡形状が得られるため，パワー補正による悪影“HMM+VC”，“Dur.+Pow.+UVC”，“Native”の 3 つであ響を緩和することができ，自然性の向上が期待できる．

る．なお，各評価は，全日本語母語話者の音声を含んだ実図 8 に，英語習熟度（“High” と “Low”）毎に集計し験セットを用いて，英語母語話者 6 名により実施する．たた，音韻補正法に対する話者性と自然性に関する主観評価

だし，評価結果は英語習熟度毎に計算し，“Monolingual”

結果を示す．“Low”に着目すると，“Dur.+Pow.+UVC”はと “Bilingual” はそれぞれ，“Low” と “High” に属するも“Dur.+Pow.”と比較して，話者性を同等程度に保持しつつのとする．

自然性を改善できることが分かる．また，“High”において，

c 2012 Information Processing Society of Japan
⃝

図 9 に，英語習熟度（“High” と “Low”）毎に集計し5情報処理学会研究報告
IPSJ SIG Technical ReportZĞĐŽŐŶŝƚŝŽŶƌĞƚĞ΀й΁ϴϱtŽƌĚĐŽƌƌĞĐƚ
tŽƌĚĐŽƌƌĞĐƚƌĂƚĞtŽƌĚĂĐĐƵƌĂĐǇ
tŽƌĚĂĐĐƵƌĂĐǇ

ϴϬ

[4]

ϳϱ
ϳϬ

図 9

Ƶƌ͘нWŽǁ͘нhs

,DDнs

Ƶƌ͘нWŽǁ͘нhs

,DDнs

,ŝŐŚEĂƚŝǀĞ

[5]
ϲϱ

[6]

>Žǁ

英語習熟度毎に計算した明瞭性に関する書き取り試験結果

Fig. 9 Results of dictation test on intelligibility calculated in[7]each English proficiency level.

た ，書 き 取 り 試 験 結 果 を 示 す ．“Low”に 着 目 す る と ，[8]“Dur.+Pow.+UVC”は “HMM+VC”と比較して，明瞭性が改善していることが分かる．これは，“HMM+VC”に対し、“Dur.+Pow.+UVC”が持つ音韻補正効果により，無声[9]子音音素の明瞭性が回復したためだと考えられる．また，“High”においては，“Dur.+Pow.+UVC”は “HMM+VC”と同等の明瞭性で，“Low”よりも高い明瞭性が得られてい[10]

る．なお，“Dur.+Pow.+UVC”は，“Native”と比較すると，単語正解精度の劣化を “High”において約 5 ％，“Low”において約 8 ％にとどめることができる．

[11]

5. おわりに
本稿では，日本人英語音声合成における話者性を保持し[12]た自然性改善を目的として，モデル適応による韻律補正法
に対して，評価者の母語と発話者の英語習熟度が与える影[13]

響について調査し，また，子音スペクトル補正による音韻補正法を提案した．実験的評価により，（１）パワー補正に[14]よる自然性の改善効果は，英語母語話者による評価において顕著であること，（２）英語習熟度に関わらず，韻律補正
法により自然性が改善すること，（３）音韻補正法も自然性改善に有効であることを示した．今後は，目標話者毎の音
韻誤りに基づく最適な補正法を検討する必要がある．
謝辞 本研究の一部は，（独）情報通信研究機構の委託研
究「知識・言語グリッドに基づくアジア医療交流支援シス
テムの研究開発」および JSPS 科研費 26280060 の助成を受け実施したものである．

[15]

[16]

参考文献
[1]

[2]

[3]

高道慎之介，大島悠司，戸田智基，Graham, N.，Sakriani,S.， 中村哲：日本人英語のための音声合成技術を用いた英語学習支援の検討，教育システム情報学会，Vol. 29,
No. 5, pp. 111–116 (2015).
Toda, T., Black, A. W. and Tokuda, K.: Voice Conversion Based on Maximum-Likelihood Estimation of Spectral Parameter Trajectory, IEEE Trans. ASLP, Vol. 15,
No. 8, pp. 2222–2235 (2007).
Tokuda, K., Nankaku, Y., Toda, T., Zen, H., Yamagishi, J. and Oura, K.: Speech synthesis based on hidden

c 2012 Information Processing Society of Japan
⃝

[17]

[18]

Markov models, Proc. IEEE, Vol. 101, No. 5, pp. 1234–
1252 (2013).
Yamagishi, J. and Kobayashi, T.: Average-voice-based
speech synthesis using HSMM-based speaker adaptation and adaptive training, IEICE Trans. Inf. and Syst,
Vol. 90, No. 2, pp. 533–543 (2007).
Hattori, N., Toda, T., Kawai, H., Saruwatari, H. andShikano, K.: Speaker-adaptive speech synthesis based on
eigenvoice conversion and language-dependent prosodic
conversion in speech-to-speech translation, Proc. INTERSPEECH, pp. 2769–2772 (2011).
Liang, H., Qian, Y., Soong, F. K. and Liu, G.:A cross-language state mapping approach to bilingual(Mandarin-English) TTS, Proc. ICASSP, pp. 4641–4644(2008).
Qian, Y., Xu, J. and Soong, F. K.: A frame mapping
based HMM approach to cross-lingual voice transformation, Proc. ICASSP, pp. 5120–5123 (2011).
Minematsu, N., Tomiyama, Y., Yoshimoto, K., Shimizu,
K., Nakagawa, S., Dantsuji, M. and Makino, S.: Development of English Speech Database Read by Japanese to
Support CALL Research, Proc. ICA, Vol. 1, pp. 557–560(2004).
大島悠司，高道慎之介，戸田智基，Graham, N.，Sakriani,S.， 中村哲：HMM を用いた日本人英語音声合成における話者性を保持した韻律補正，信学技報，Vol. 114,
No. 365, pp. 63–68 (2014).
吉村貴克，徳田恵一，益子貴史，小林隆夫， 北村正：HMM に基づく音声合成におけるスペクトル・ピッチ・継続長の同時モデル化，信学論，Vol. J83-D2, No. 11, pp.
2099–2107 (2000).
Tokuda, K., Yoshimura, T., Masuko, T., Kobayashi,
T. and Kitamura, T.: Speech Parameter Generation
Algorithms for HMM-based Speech Synthesis, Proc.
ICASSP, Vol. 3, pp. 1315–1318 (2000).
Kitamura, T. and Akagi, M.: Speaker Individualities in
Speech Spectral Envelopes, Proc. ICSLP, Vol. 3, pp.
1183–1186 (1994).
Kominek, J. and Black, A. W.: CMU ARCTIC
databases for speech synthesis CMU Language Technologies Institute, Technical report, CMU-LTI-03-177 (2003).
Kawahara, H., Masuda-Katsuse, I. and de Cheveigné,A.: Restructuring Speech Representations Using a
Pitch-adaptive Time-frequency Smoothing and an
Instantaneous-frequency-based F0 Extraction: Possible
Role of a Repetitive Structure in Sounds, Speech Commun., Vol. 27, No. 3-4, pp. 187–207 (1999).
Zen, H., Tokuda, K., Masuko, T., Kobayashi, T. and Kitamura, T.: Hidden Semi-Markov Model Based Speech
Synthesis System, IEICE Trans., Inf. and Syst., E90-D,
Vol. 90, No. 5, pp. 825–834 (2007).
Yamagishi, J., Nose, T., Zen, H., Ling, Z.-H., Toda, T.,
Tokuda, K., King, S. and Renals, S.: Robust SpeakerAdaptive HMM-Based Text-to-Speech Synthesis, IEEE
Trans. ASLP, Vol. 17, No. 6, pp. 1208–1230 (2009).
Garofolo, J. S., Lamel, L. F., Fisher, W. M., Fiscus, J. G.
and Pallett, D. S.: DARPA TIMIT acoustic-phonetic
continous speech corpus, Technical report, NISTIR 4930,
NIST, Gaithersburg, MD (1993).
Benoı̂t, C., Grice, M. and Hazan, V.: The SUS test:
A method for the assessment of text-to-speech synthesis intelligibility using Semantically Unpredictable Sentences, Speech Communication, Vol. 18, No. 4, pp. 381–
392 (1996).

6