1-R5-23
音声 F0 パターン生成過程の確率モデルに基づく非母国語話者音声の韻律補正法の検討∗☆門脇健人 1 , 大石康智 2 ，石原達馬 1 ，北条伸克 1 ，亀岡弘和 1,2(1 東大院・情報理工, 2 NTT CS 研)

1

はじめにネットワークを利用した高速・高品質な音声通信手段が普及する中，母国語以外の言語で他国の人々とコミュニケーションを図る機会が増えている。しかしながら，たとえ文法的に正しい内容を発話したとしても，対象とする言語の発音や抑揚を再現できず，内容を相手に正しく理解してもらえないという経験がだれにでもあるのではないだろうか。特に日本語を母国語とする話者は，英語学習教育を幼少期から受けているものの，英語の発声を正しく修得して活用することが難しい。この原因の一つは，言語の韻律的特徴が互いに異なるためと言える。韻律とは，声の強弱や長短，高低，リズムを指し，例えば，日本語はモーラ拍リズム型，英語は強勢拍リズム型，フランス語やヒンズー語は音節拍リズム型で韻律が変化する。中国語やタイ語，ベトナム語では，1 音節内で声の高低が変わる音節声調をもつことも特徴と言える [1]。このような言語特有の韻律的特徴のため，母国語以外の新しい言語を修得することが難しいと考えられる。
本研究では，様々な言語の韻律的特徴を考慮し，言語教育支援やコミュニケーションの円滑化を目的として，非母国語話者の韻律を母国語話者らしい韻律へと自動的に補正する手法を提案する。具体的には，
音声基本周波数の時間変化（F0 パターン）を韻律的特徴とみなし，F0 パターンの生成過程を表現する藤崎モデル [2] を韻律補正に応用する。藤崎モデルは，F0 パターンをフレーズ成分とアクセント成分の和で表す物理モデルであり，それぞれ甲状軟骨の並進運動による緩やかな時間変化と回転運動による急激な時間変化に対応すると仮定する。このフレーズ成分とアクセント成分の使い方が言語によって異なると想定す

Fig. 1

非母国語話者音声の韻律補正生成されるという仮説の妥当性を示すことができた。
本稿ではこれらの結果に基づいて，英語に特有な有限種類の語彙テンプレートを学習し，日本語母語話者による英語発声を，英語の語彙テンプレートに置き換えて F0 パターンを補正する。Fig. 1 に示すように，音声分析合成法 TANDEM-STRAIGHT[6] を利用して，入力音声をあらかじめ F0 パターンとスペクトル包絡，非周期成分に分解し，F0 パターンだけを補正して再合成する。聴取実験を通して，再合成された音声を，韻律の聞き取りやすさの観点から評価し，提案法の有効性を検証する。
非負値時空間分解法 [7] を用いて日本語母語話者が発声した英語の発話リズムを英語母語話者らしく変換する手法が検討されているが，ここでは同一文章を発声したパラレルデータを必要とした。言語情報を用いずに，大量の F0 パターンから，言語のフレーズとアクセントのテンプレートを学習して，音声の韻律を補正することが本研究の特徴的な点である。

藤崎モデル指令列の統計的語彙モデル

2

藤崎モデル [2] では，対数 F0 パターン y(t) が以下のように 3 つの成分の和で表される。

る。我々はこれまで，藤崎モデルを基礎とした F0 パターンの生成過程の確率モデルを提案し，観測されるy(t) = xp (t) + xa (t) + xb

F0 パターンからフレーズ成分とアクセント成分を推

ここで，t は時間，xp (t) はフレーズ成分，xa (t) はア定する逆問題を検討した [3, 4]。さらに，有限種類のクセント成分，xb はベースライン成分（時間によらアクセント型を反映した語彙テンプレートの連結にない定数）である。さらにフレーズ成分とアクセン

よって F0 パターンが生成されるという統計的語彙モ

ト成分はそれぞれ，デルタ列からなるフレーズ指令

デル [5] を提案し，語彙の学習を試みた。背後に存在

up (t) と矩形パルス列からなるアクセント指令 ua (t)する有限種類の語彙テンプレートから F0 パターンがの 2 次系フィルタの出力で表現される。それぞれの∗(1)

Automatic prosodic correction method for non-native speaker based on probabilistic model of speech F0contour. by KADOWAKI, Kento (The University of Tokyo), OHISHI, Yasunori (NTT), ISHIHARA,Tatsuma, HOJO, Nobukatsu, KAMEOKA, Hirokazu (The University of Tokyo)

日本音響学会講演論文集- 431 -2014年3月

Fig. 3 継続時間長を表現するための状態分割: 遷移
確率 ϕa1,1,0 ,a1,1,1 は状態 a1,1 が 4 回継続する確率に対応する。
ことや，違う発話内容であっても同一のイントネーションを持つものが存在する。これは，藤崎モデルの指令列が有限種類の語彙テンプレートの連結によって表現できる可能性を示唆する。文献 [5] では，そのよFig. 2 統計的語彙モデルに基づくフレーズ・アクセ
ント指令列の状態遷移トポロジー

うな有限の語彙テンプレートを，Fig. 2 のようなテン

2 次系フィルタの応答の速さを表す角周波数パラメー
タを α，β とし，個人や発話によらずおおよそ α = 3現した。ここで，状態の継続時間長も重要な情報でrad/s，β = 20 rad/s 程度の値となることが知られている。

モデル化する。これによってテンプレート内の休息や2.1プレート間を遷移可能な Left-to-Right 型 HMM で表あるため，Fig. 3 のような状態分割により継続時間をアクセント指令の継続時間を表現することができる。
推定すべきパラメータはフレーズ指令およびアクセ

藤崎モデルの確率モデル化

ント指令の大きさ（HMM の各状態の平均パラメー

藤崎モデルにおけるフレーズ指令とアクセント指タ），指令列を生成する分散パラメータ，実際の指令令はそれぞれ，デルタ列と矩形パルス列で表現され，列 {o[k]}Kk=1 ，そして HMM の状態遷移確率である。

さらにこれらは互いに重ならないという仮定が置かれる。文献 [3, 4] では，これらの制約を満たす指令列を補助関数法を用いて，パラメータの事後確率を最大化するようにパラメータは反復して推定される。

確率モデルとして記述するために，指令のペア o[k] =(up [k], ua [k])T を，隠れマルコフモデル (HMM) の出力として表現した。各状態の出力分布を正規分布と藤崎モデル指令列の統計的語彙モデルを利用した韻律補正3

仮定すると，出力は藤崎モデル指令列の統計的語彙モデルを利用して，o[k] ∼ N (o[k]; csk , Υsk )(2)に従う。ここで sk は時刻 k における状態を表す。上式の平均 csk と分散 Υsk は HMM の状態遷移によって得られる出力分布のパラメータからなる。実際にK観測される F0 パターン y = {y[k]}K
k=1 は {o[k]}k=1の各指令に 2 次系フィルタが畳み込まれ，さらにベースライン成分 ub を足したものを平均とし，υn2 [k] を分散パラメータとする確率密度関数

P (y|o) =K∏

者らしい韻律へと補正して音声を再合成する手法を提案する。この手法は，英語音声の F0 パターンを生成するために必要な語彙テンプレートを学習するス
テップと，入力となる日本語母語話者による英語発声の F0 パターンを補正するステップからなる。

3.1

英語音声の統計的語彙モデルの学習

藤崎モデル指令列の統計的語彙モデルによって，日本語の F0 パターンが有限個の語彙テンプレートの連N (y[k]; x[k], υn2 [k])結によって表現されることが示された [5]。日本語音

k=1

x[k] = Gp [k] ∗ up [k] + Ga [k] ∗ ua [k] + ub

声と英語音声における韻律のモーラ拍リズム型と強(3)から生成される。ここで，Gp と Ga はフレーズ成分とアクセント成分を生成する 2 次系フィルタを表す。

2.2

日本語母語話者による英語音声の韻律を英語母語話勢拍リズム型の違いが，この統計的語彙モデルで表現されることを仮定し，複数の英語音声の F0 パターンを用いて，前節の語彙テンプレートを学習する。

3.2

指令列の統計的語彙モデル

HMM を利用した藤崎モデルの確率モデル化では，言語学的な先験知識を考慮していなかったが，本来はイントネーション型などに起因する言語的な制約によって指令列のとりうる範囲を制限するべきである。

日本語母語話者による英語発声の F0 パターンを補正する手順を説明する。

1. 音声分析合成手法 TANDEM-STRAIGHT[6] を利用して，入力音声信号から F0 パターン，スペ通常の発話において，イントネーション型が限られる

日本音響学会講演論文集

入力音声の韻律補正と音声の再合成- 432 -

クトル包絡，非周期成分を抽出する。

2014年3月

2. 抽出された F0 パターン {y[k]}Kk=1 を，3.1 節で学習された統計的語彙モデルの観測データとみなし，Forward-Backward アルゴリズムによってHMM の状態系列が周辺化されて得られる指令列を {oinput [k]}Kk=1 とする。
3. 同様に，{y[k]}Kk=1 を，3.1 節で学習された統計的語彙モデルの観測データとみなし，Viterbi アルゴリズムによって得られる最尤な状態系列を{sinput [k]}Kk=1 とする。
4. {sinput [k]}Kk=1 の中で，自己遷移によって，ある状態に停留する区間に対し，自己遷移確率を使っFig. 4 再合成された F0 パターンと韻律補正された
F0 パターンの DP マッチングて計算される状態継続長分布の平均値がその停留時間（継続長）となるように伸縮を行う。伸縮′された新たな状態系列を {soutput [k]}Kk=1 とする。

5.

′
{soutput [k]}K
k=1 と HMM の平均パラメータを使っK′て，指令列 {ooutput [k]}k=1を作成する。
′K
6. {oinput [k]}K
k=1 と {ooutput [k]}k=1 それぞれに，式(3) のフレーズ成分およびアクセント成分を生成するための 2 次系フィルタを畳み込み，再合成された F0 パターン {xinput [k]}K
k=1 と韻律補正さ′れた F0 パターン {xoutput [k]}Kk=1 を計算する。

評価実験

4提案法に基づく日本語母語話者による英語音声の韻律補正法の有効性を評価する。英語を母国語とする話者 4 名がそれぞれ，12 文章を発声した音声信号（合計 48 文章）を学習データとする。一方，英語を母国語としない日本人話者 1 名が上記の文章のうちランダムに選択された 5 つ文章を英語で発声した音声信号を評価データとする。学習データを用いて，英語音声の藤崎モデル指令列の統計的語彙モデルを学習する。F0 は 8 ms ごとに推定され，2 次系フィルタ

7. 韻 律 補 正 さ れ た 音 声 を 再 合 成 す る た め に ，の時定数は α = 3.0 rad/s と β = 20.0 rad/s，フレー動 的 計 画 法（DP マッチ ン グ ）を 利 用 し て ，ズ指令の分散パラメータは υp2 [k] = 32 ， アクセント

K′{xinput [k]}K
k=1 と {xoutput [k]}k=1 の最適マッチ

指令の分散パラメータは υa2 [k] = 0.032 ， ベースライン成分の分散パラメータは υb2 = 10−8 ，有声区間のング経路を計算する。

8. 最適経路に従って入力音声のスペクトル包絡と非周期成分を抜粋し，韻律補正された音声をTANDEM-STRAIGHT で再合成する。
DP マッチングでは，入力信号 Ii (1 ≤ i ≤ I) と参照

ノイズ成分の分散パラメータは υn2 [k] = 1015 ，無声区間のノイズ成分の分散パラメータは υn2 [k] = 0.12 とし，これらはすべて固定した。ベースライン成分の平均 µb は F0 パターンの有声区間の最低値に設定した。Fig. 2 における語彙テンプレート数は 8 つに固信号 Rj (1 ≤ j ≤ J) の最適なマッチング経路を求め定し，アクセントの数が 1 つのテンプレートを 3 つ，る。以下のように局所的な傾斜を 1/2 と 2 の間に制アクセントの数が 2 つのテンプレートを 3 つ，アク限した漸化式を利用して，信号間の距離を求める。

セントの数が 3 個のテンプレートを 2 つとした。こg(Ii , Rj )g(Ii−2 , Rj−1 ) + 2d(Ii−1 , Rj ) + d(Ii , Rj )= min g(Ii−1 , Rj−1 ) + 2d(Ii , Rj )g(I , R ) + 2d(I , R ) + d(I , R )i−1j−2ij−1ij
ここで，g(I1 , R1 ) = 2d(I1 , R1 ), j = 1 として，iを変えながら上式を計算し，次に j を増加させてj = J となるまで同様の計算を繰り返す。局所距離は d(Ii , Rj ) = |Ii − Rj | とする。上式の最小値選択がいずれであったかを蓄えておき，(I, J) からこれを逆にたどることによって最適マッチング経路を求める。
′K{xoutput [k]}K
k=1 と {xinput [k]}k=1 をそれぞれ，入力信号と参照信号として計算した例を Fig. 4 に示す。

日本音響学会講演論文集

れらの状態遷移確率および，2 節で説明したモデルパラメータが補助関数法によって推定される。パラメータ推定の反復回数は 20 回とした。

Fig. 5 と Fig. 6 は日本語母語話者による英語音声の韻律が提案法によって補正された結果を示す。(a)が実際に発声した音声の F0 パターンであり，(b) が2 節の統計的語彙モデルによって再合成された F0 パ
ターン，(c) が 3 節に示す手順によって韻律補正された F0 パターンを示す。統計的語彙モデルによる F0パターンの分析合成性能はまだ十分ではないが，おおよそ (a) と (b) の F0 パターンは近いものとみなせる。さらに，(b) と (c) を比較した場合，単純に F0 パターンを伸縮したものではないことがわかるだろう。

- 433 -

2014年3月

Fig. 5

日本語母語話者音声の韻律補正結果 1

Fig. 6

日本語母語話者音声の韻律補正結果 2

Fig. 7

5 段階評価による主観評価実験結果

英語母語話者による音声を使って学習された統計的語
彙モデルにおけるフレーズやアクセントの大きさ，またアクセントや休止の継続時間長が反映されて，F0パターンが補正されることを確認できる。
次に韻律補正された音声の主観評価実験を行った。
まず，原音声を被験者に聞いてもらい，その後，補正された音声を聞いて，補正された音声がより英語らしい韻律に変化したか否かを 5 段階で評価してもらった。3 はあまり変化がない，3 より高いと英語らしくなったという基準の下で，被験者 10 名がそれぞれ，5つの文章を評価した。評価実験結果を Fig. 7 に示す。
帰無仮説 µ = 3.0，対立仮説 µ > 3.0 として t-検定

アクセントや休止の継続長を反映して補正することを行なったところ，文章 No.1，2，5 の 3 つにおいてが特徴である。主観評価実験より，一部の入力音声は有意水準 5%で帰無仮説が棄却された。すなわち，5

英語らしく補正され，韻律の観点から聞き取りやすつの文章のうち，3 つは補正された音声が英語らしくくなることを確認した。今後の課題は，学習データおなったと統計的に確認できた。ただし，実験が小規模よび評価データの量を増やし，大規模に提案法を評であるため，学習データおよび評価データの量を増価することである。その中で，語彙テンプレートのやし，大規模に提案法を評価することが今後の課題

数や HMM のトポロジーを調整することも必要となである。また，今回の実験では文章の内容に関してクる。今回，評価に利用した日本語母語話者の英語のローズドな評価であるため，学習データに含まれな発声力は中級レベルである。英語の発声力に対して，い文章を発声したときに，韻律補正がどの程度可能提案法がどこまで韻律補正を可能とするか検証するであるか，性能を評価することも必要である。

ことも興味深い。また，提案法を英語以外の言語の韻律補正に応用することも現在検討中である。

5

おわりに
本稿では，言語教育支援やコミュニケーションの円滑化を目的として，日本語母語話者による英語音声を英語母語話者らしい韻律に補正して再合成する手法を提案した。音声の F0 パターンを韻律的特徴とみなし，先行研究によって構築された藤崎モデル指令列の統計的語彙モデルを利用して，英語音声における典型的な指令列パターンを語彙テンプレートとして学習し，入力音声の F0 の指令列パターンを英語の語彙テンプレートに置き換えて，F0 パターンを補正する。提案法は F0 パターンを単純に伸縮するのではな

参考文献[1] H. Li et. al., in Proc. IEEE 2013.
[2] H. Fujisaki, “In Vocal Physiology: Voice Production, Mechanisms and Functions,” RavenPress, 1988.
[3] H. Kameoka et. al., in Proc. SAPA 2010.
[4] K. Yoshizato et. al., in Proc. Interspeech 2012.
[5] T. Ishihara et. al., in Proc. Interspeech 2013.
[6] H. Kawahara et. al., in Proc. ICASSP 2008.
[7] S. Hiroya et. al., IEEE Trans. ASLP, Vol.21,

く，英語音声のフレーズやアクセントの大きさ，また日本音響学会講演論文集- 434 -No.10, pp.2108–2117, 2013.

2014年3月