音声生成過程の確率モデル
亀岡弘和
日本電信電話株式会社
NTTコミュニケーション科学基礎研究所1音声スペクトログラムについて• 発声機構に基づく特有の構造がある

全極型
声道モデル

声道スペクトル
音韻的特徴（母音の種類）frequency

基本周波数（F0）パターン
F0power

音声スペクトログラムの例

F0パターン
生成過程モデル

韻律的特徴（抑揚など）
time（藤崎モデル）2

目的と概要• 任意の信号が音声らしいかを測るための規準が作れるか？

音声生成過程の確率モデル化
全極モデル
パラメータ
声道スペクトルに関係するパラメータ

藤崎モデル
パラメータ
③

④

F0パターンパラメータ

音声を対象とした逆問題（雑音除去等）に活用可！

②

音声分析合成系としての利用も可！
①• パラメータ推論は？

点推定と変分推論

音声生成器が生成しうる信号には高いスコア
しえない信号には低いスコア

①
②
③
④

3

提案法の導出アウトライン
有声音の波形モデル（基本モデル）
未知パラメータ：の事前分布の設計（全極型声道モデルに基づく）
ハイパーパラメータ：

ウェーブレット変換
スペクトル表現（定Q log‐normalフィルタバンクと命名）

統計モデル化の事前分布の設計（藤崎モデルに基づく）
ハイパーパラメータ：

パラメータ推定の局所最大化を目的とした反復アルゴリズム
4

波形モデルÆウェーブレットスペクトルモデル• 時刻 周辺の音声信号モデル∵一般化Parsevalの定理のFourier変換

時刻 周辺に含まれる対数周波数 の成分を測るための変換

1.00.5

00

12

4

8

「定Q log‐normalフィルタバンク」
ウェーブレットスペクトルモデル
power(導出省略)

ウェーブレット変換

瞬時対数基本周波数

log‐frequency 5

ウェーブレットスペクトルの統計モデル化• 観測ウェーブレットスペクトル• 「現象」

をできるだけ良く説明するスペクトルモデル

を求めたい

未知パラメータ：

調波成分の振幅

F0パターン（対数F0の時間軌跡）• スペクトル間の近さを測るための尺度の導入– Iダイバージェンス [Csiszar, 1975]–

を に関して最小化することは，を仮定した下での の最尤推定と等価

6全極モデルに基づくの事前分布設計• 音声信号モデル

全極システムのイメージ（等長音響管モデルと等価）

離散時間表現（周期 でサンプリング）•を全極システムの出力信号と仮定–拘束式：–システム入力：

基本周波数が満たすべき制約

ただし7全極モデルに基づくの事前分布設計• システム入力に確率的な揺らぎをもたせる
これにより基本周波数がの周期的な雑音 を表現したことになる

実部と虚部が同じ分散の独立な正規分布に従うなら振幅は？
（との関係式）

ハイパーパラメータ番目の点

8

藤崎モデルに基づくの事前分布設計•藤崎モデル[Fujisaki, 1988]とは声帯振動の制御（F0パターン生成）機構の簡易な物理モデル
A) 甲状軟骨の運動は二種類（平行移動と回転）あると仮定
B) 各運動を臨界制動の二次線形系の応答として表現
C) 各運動に伴う声帯の伸びの変化の合計が対数F0の変化に比例すると仮定
フレーズ成分
アクセント成分
ベースライン成分

9：平行移動による変位に比例するF0パターン成分：回転運動による変位に比例するF0パターン成分：声帯の物理的性質によって決まる定数

このモデルを離散時間確率過程で表現しよう！

藤崎モデルに基づくの事前分布設計• 連続時間系から離散時間系への変換
フレーズ指令入力

臨界制動系のインパルス応答

フレーズ成分

– フレーズ制御系のラプラス変換– 逆システムのラプラス変換– 後退差分近似

離散時間表現のサンプリング周期– 逆システムのz変換
アクセント成分についても同様

パラメータで特性が決まる拘束つき全極モデル

10

藤崎モデルに基づくの事前分布設計• 両「指令」関数は無制約で良いわけではない• 藤崎モデルにおける基本ルール• フレーズ指令はパルス波• アクセント指令は矩形波• 同時刻に二つ以上の指令は発生しない
11

藤崎モデルに基づくの事前分布設計• 隠れマルコフモデルによるフレーズ・アクセント指令の確率モデル化
自己遷移させないことにより，パルス波を生成可能に

p1a0

p0

a1a2

状態遷移に伴う平均anからam (n≠m, n≠0, m≠0)に遷移できないようにする
ことで矩形波を表現可能にの時間軌跡a3
簡単のため遷移確率は定数とする
12

藤崎モデルに基づく• フレーズ成分
p. 10で得た拘束式
p. 12で得た確率モデルの事前分布設計の確率密度関数
状態系列によって決まる
平均と分散の遷移系列
対角成分がの対角行列• アクセント成分も同様• F0パターンベクトル

13パラメータ推論その１•グラフィカルモデル
全極モデル
パラメータ

藤崎モデル
パラメータ

①②④③調波成分
パラメータ

F0パターン
パラメータ②③④①log sumの形を含む
14

点推定アルゴリズム (1/3)• EMアルゴリズム– 完全データ（観測データ＆潜在データ）の対数確率Æ観測データとパラメータが与えられた下での期待値＝Q関数– Q関数からEステップとMステップを導出• 潜在データ：観測スペクトルを構成する各調波成分• Poisson分布の再生性よりのとき・・・完全データの確率密度関数15

点推定アルゴリズム (2/3)• 完全データ（観測データ＆潜在データ）の対数確率：• 観測データとモデルパラメータが与えられた下での期待値：

Poisson分布の性質より

Q関数の完成！

16

点推定アルゴリズム (3/3)• Q関数からEステップとMステップを導出– Eステップ：– Mステップ：にMステップで更新した とを と に関して最大化を代入

全極モデルパラメータをとに関して最大化
藤崎モデルパラメータ1ステップ前の更新値

[近似]
17

動作実験
実験データ

定Q log‐normal
フィルタバンクを用いて分析した
スペクトログラム

パラメータ反復推定後の局所最適モデル

倍ピッチ・半ピッチ誤りが見られない！
赤：F0パターン
青：藤崎モデル

青：フレーズ指令
緑：アクセント指令18

声道スペクトルの推定結果
実験データの短時間フーリエ変換スペクトログラム

従来の線形予測分析(LPC)で得た声道スペクトル推定値

提案法で得た声道スペクトル推定値

フォルマントがくっきり！

19パラメータ推論その２•グラフィカルモデル
全極モデル
パラメータ

①

藤崎モデル
パラメータ

②

④
③

調波成分
パラメータ

③

F0パターン
パラメータ④②

を解きたい！

①とを周辺化したい
けど今のままでは難しいとの変分事後分布推定と近似仮定

20

変分事後分布推定 (1/6)• 潜在変数：観測スペクトルを構成する各調波成分• Poisson分布の再生性よりのとき• 目標：を近似すること！

はのKLダイバージェンスになっている！と21

変分事後分布推定 (2/6)とのKLダイバージェンス

22変分事後分布推定 (3/6)•の反復最大化・・・（１）
・・・（２）
・・・（３）

23

変分事後分布推定 (4/6)（１） 潜在変数の変分事後分布更新式（２）と（３）で計算される（他の更新式で使う）
24

変分事後分布推定 (5/6)（２） 調波成分パワーの変分事後分布更新式
事前分布（1）で計算される（他の更新式で使う）
Digamma関数25変分事後分布推定 (6/6)（３） F0パターンの変分事後分布更新式

事前分布（1）で計算される（他の更新式で使う）
26

ハイパーパラメータの推定•グラフィカルモデル
全極モデル
パラメータ

藤崎モデルパラメータの反復計算後となっていることを利用④③調波成分
パラメータF0パターン
パラメータ②①

これが達成されたらの値が変化するため再推定する必要あり

をと の反復推定（ただし収束性は保証されない）
27

まとめモデル化の話• 有声音の波形モデル• ウェーブレットスペクトル尤度関数設計– 定Q log‐normalフィルタバンク• 全極モデル• 藤崎モデル

音声情報処理研究の歴史を代表する，音声生成過程に関する二大数理モデル

事前分布設計推論の話• 統計的推論アルゴリズム– EMアルゴリズム– ベイズと点推定の組み合わせ（収束性は保証されない）
28