1-2-5
統計的パラメトリック音声合成のためのオーディオブックを用いた学習コーパス自動構築

沢田慶，伊神和輝，浅井千明，佐藤雄介，橋本佳，大浦圭一郎，南角吉彦，徳田恵一
名古屋工業大学
日本音響学会2016年春季研究発表 2016年3月9日

はじめに¢ 統計的パラメトリック音声合成 (SPSS)

音声データとテキストの対から音響モデルを学習
u 大量の学習データを用いるほど音質が向上
u¢ ビックデータを用いた統計モデル学習

様々な研究分野で高い性能
u SPSSのための学習データ
ul クリーンかつ同一環境で収録された音声が必要⇒ 大量の音声データの収録には高コスト¢ オーディオブックを用いたSPSSの学習

比較的容易に利用できるビックデータ
u 音声データの発話内容とテキストには不一致が存在uオーディオブックを用いた学習コーパスの自動構築
2

オーディオブック¢ 書籍 (テキスト) を朗読したコンテンツ

有料無料の大量のコンテンツがインターネット上に存在
u 音声データとテキストの対が存在
u 同一の話者による比較的クリーンかつ同一環境で収録u⇒ 音響モデル学習のためのビックデータとして有用¢ オーディオブックを学習データとする問題点
u

音声データの発話内容とテキストに不一致が存在
l 置換: テキストの読み間違い
l 削除: テキストに対応する音声の未収録
l 挿入: テキストに対応しない音声の収録

音声データ
ブックテキスト

he came to a cottage⇒ 音響モデルの学習に悪影響
3

オーディオブックのテキスト¢ 音声データの発話内容に一致する正解テキストu

正解テキストを人手により作成することは高コスト¢ 音声認識を用いた認識テキスト [Braunschweiler et al.; ’10]

音声データの発話内容を推定
u 認識エラーが含まれる可能性u

音声データ
正解テキストhes came to a cottage knock knock

ブックテキストhes came to a cottage

認識テキストshe came to a cottage knock knock¢ 単語ネットワークに制限を設けた制限付き音声認識

ブックと認識テキストから単語ネットワークを構築
u 認識エラーを削減し発話内容の不一致に対応可能
u

学習コーパスの質の向上を目指す
4

学習コーパス自動構築
不特定話者音声認識器パート

話者適応音声認識器パートオーディオブックデータベース

オーディオブックデータベース

音声データ

音声データ

ブックテキスト

不特定話者音声認識器
不特定話者
音響モデル

ブック適応
言語モデル

認識テキスト
データの選択ブックテキスト

話者適応音声認識器
話者適応
音響モデル

ブック適応
言語モデル

認識テキスト
データの選択

音声データと テキスト

音声データと テキスト

制限付き音声認識

制限付き音声認識

音声データと 制限認識テキスト
適応コーパス

音声データと 制限認識テキスト
学習コーパス
5

学習コーパス自動構築
不特定話者音声認識器パート

話者適応音声認識器パート

オーディオブックデータベース

オーディオブックデータベース

音声データ

音声データ

ブックテキスト

不特定話者音声認識器
不特定話者
音響モデル

ブック適応
言語モデル

認識テキスト
データの選択ブックテキスト

話者適応音声認識器
話者適応
音響モデル

ブック適応
言語モデル

認識テキスト
データの選択

音声データと テキスト

音声データと テキスト

制限付き音声認識

制限付き音声認識

音声データと 制限認識テキスト
適応コーパス

音声データと 制限認識テキスト
学習コーパス6

オーディオブックを用いた音声認識の改善¢ 言語モデル

音声データの発話内容とブックテキストの大部分は一致
u ブックテキストを用いた言語モデルは有用
u ブックごとにブック適応言語モデルを構築u¢ 音響モデルu

オーディオブックから話者適応音響モデルを構築

不特定話者音声認識器パート

特定話者音声認識器パート

オーディオブックデータベース

オーディオブックデータベース

ブックテキスト
不特定話者音声認識器
不特定話者
音響モデル

ブック適応
言語モデル

適応コーパスブックテキスト
話者適応音声認識器
話者適応
音響モデル

ブック適応
言語モデル

7

学習コーパス自動構築
不特定話者音声認識器パート

話者適応音声認識器パート

オーディオブックデータベース

オーディオブックデータベース

音声データ

音声データ

ブックテキスト

不特定話者音声認識器
不特定話者
音響モデル

ブック適応
言語モデル

認識テキスト
データの選択ブックテキスト

話者適応音声認識器
話者適応音響モデル

ブック適応
言語モデル

認識テキスト
データの選択

音声データと テキスト

音声データと テキスト

制限付き音声認識

制限付き音声認識

音声データと 制限認識テキスト
適応コーパス

音声データと 制限認識テキスト
学習コーパス8データの選択¢ ブックテキストと認識テキストの比較

u

ブックテキストhes came to a cottage

認識テキストshe came to a cottage knock knock

単語一致精度

単語一致精度が高い ⇒ 正解テキストと近い可能性大¢ データの選択

単語一致精度に閾値を設けデータを選択
u 閾値の設定による学習コーパスの量と質はトレードオフ
u

閾値

大きい

小さい

学習コーパスの量少ない

多い

学習コーパスの質高い

低い

適切な閾値の設定により音響モデルの精度向上
9学習コーパス自動構築
不特定話者音声認識器パート

話者適応音声認識器パート

オーディオブックデータベース

オーディオブックデータベース

音声データ

音声データ

ブックテキスト

不特定話者音声認識器
不特定話者
音響モデル

ブック適応
言語モデル

認識テキスト
データの選択ブックテキスト

話者適応音声認識器
話者適応
音響モデル

ブック適応
言語モデル

認識テキスト
データの選択

音声データと テキスト

音声データと テキスト

制限付き音声認識

制限付き音声認識

音声データと 制限認識テキスト
適応コーパス

音声データと 制限認識テキスト
学習コーパス10

制限付き音声認識¢ 制限付き音声認識による制限認識テキスト

ブックと認識テキストから単語ネットワークを構築
u テキストが異なる場合は選択可能な単語ネットワーク
u パスにペナルティを付加
ul ブックテキストがNULL: ブックテキストにペナルティ

NULLその他: 認識テキストにペナルティu

言語モデルは利用しない音声認識
ブックテキストhes came to a cottage

認識テキストshe came to a cottage knock knock

heshecametoacottage

NULLknockknock

正解テキストに近いテキストを推定可能
11実験条件 (1/3)¢ オーディオブック

データベースUsborne Publishing Ltd of audiobook
recordings for Blizzard 2015

音声ファイル

ページ単位，平均16秒

学習データ

19冊，415ページ，115分

評価データ

3冊，48ページ

画像は http://www.usborne.com から引用

12

実験条件 (2/3)¢ 音声認識器

不特定話者認識器構築データベース

TIMIT, WSJ0, WSJ1

サンプリング周波数16 kHz

窓

ハミング窓

フレーム

長: 25 ms，シフト: 10 ms

特徴量

12次元MFCC + Δ + ΔΔ

音響モデル

3状態スキップなしleft-to-right HMM
16 (ポーズは32) 混合のGMM

言語モデル

bi-gram

適応コーパスとする単語一致度の閾値

90%

学習コーパスとする単語一致度の閾値70%13

実験条件 (2/3)¢ 音声合成器

サンプリング周波数44.1 kHz

窓ガウシアン窓

フレーム

シフト: 5 ms

特徴量

39次元STRAIGHTメルケプストラム + Δ + ΔΔ，
19次元非周期成分 + Δ + ΔΔ，
対数基本周波数 + Δ + ΔΔ，

モデル構造

5状態スキップなしMSD-HSMM¢ 評価実験

評価手法

自然性に関する5段階MOS試験

被験者数

8人

評価文章

評価データ3冊の中からランダムに20ページ

14

実験結果
Mean opinion score (MOS)¢ テキストの違いの比較

3.4
3.2

95% confidence intervals

3.0
2.8
2.6
2.4

ブックテキスト
認識テキストBook text
Recognizedtext 制限認識テキスト
Constraint
recognized text

制限認識テキストは高い自然性
15

むすび¢ オーディオブックを用いたSPSSの学習u

音声認識を用いた学習コーパスの自動構築
l オーディオブックを用いた言語・音響モデル
l データとテキストの選択u

主観評価実験
l 単語ネットワークに制限を設けた音声認識は有効¢ 今後の課題

母語話者による主観評価実験
u 大規模データベースを用いた実験
u 表現豊かな音声合成システムの構築u¢ Blizzard Challenge 2016に向けてダブルクォート・構文解析の情報をコンテキストに導入
u DNN音響モデルの導入 [Hashimoto et al.; ’16]
u16