1(57)【特許請求の範囲】【請求項１】 自然発話の音声波形信号の音声セグメン
トを記憶する第１の記憶手段と、
上記第１の記憶手段によって記憶された音声波形信号の音声セグメントと、上記音声波形信号に対応する音素列とに基づいて、上記音声波形信号における音素毎の索引
情報と、上記索引情報によって示された音素毎の第１の音響的特徴パラメータと、上記索引情報によって示された音素毎の韻律的特徴パラメータとを抽出して出力する
音声分析手段と、
10
上記音声分析手段から出力される索引情報と、上記第１の音響的特徴パラメータと、上記韻律的特徴パラメータとを記憶する第２の記憶手段と、上記第２の記憶手段によって記憶された第１の音響的特徴パラメータと韻律的特徴パラメータとに基づいて、同2一の音素種類の１つの目標音素とそれ以外の音素候補との間の第２の音響的特徴パラメータにおける音響的距離を計算し、上記計算した音響的距離に基づいて各音素候補に対して上記第２の音響的特徴パラメータ毎に所定の統計的解析を実行することにより、各音素候補に対する
上記第２の音響的特徴パラメータにおける寄与度を表わす各目標音素毎の重み係数ベクトルを決定する重み係数
学習手段と、
上記重み係数学習手段によって決定された上記第２の音響的特徴パラメータにおける各目標音素毎の重み係数ベクトルを記憶する第３の記憶手段と、上記第３の記憶手段によって記憶された各目標音素毎の重み係数ベクトルと、上記第２の記憶手段によって記憶された韻律的特徴パラメータとに基づいて、入力される
自然発話文の音素列に対して、目標音素と音素候補との(2)3間の近似コストを表わす目標コストと、隣接して連結されるべき２つの音素候補間の近似コストを表わす連結コ
ストとを含むコストが最小となる、音素候補の組み合わせを検索して、検索した音素候補の組み合わせの索引情報を出力する音声単位選択手段と、
上記音声単位選択手段から出力される索引情報に基づいて、当該索引情報に対応する音声波形信号の音声セグメ
ントを上記第１の記憶手段から逐次読み出して連結して出力することにより、上記入力された音素列に対応する
音声を合成して出力する音声合成手段とを備えたことを特徴とする自然発話音声波形信号接続型音声合成装置。
【請求項２】 上記音声分析手段は、入力される音声波
形信号に基づいて上記音声波形信号に対応する音素列を予測する音素予測手段を備えたことを特徴とする請求項
１記載の音声合成装置。
【請求項３】 上記重み係数学習手段は、上記計算した音響的距離に基づいて、最良の上位複数Ｎ１個の音素候補を抽出した後、上記第２の音響的特徴パラメータの各々に対して線形回帰分析することにより、各音素候補に関する上記第２の音響的特徴パラメータにおける寄与度を表わす各目標音素毎の重み係数ベクトルを決定することを特徴とする請求項１又は２記載の音声合成装置。
【請求項４】 上記重み係数学習手段は、上記計算した音響的距離に基づいて、最良の上位複数Ｎ１個の音素候補を抽出した後、上記第２の音響的特徴パラメータの各々に対して所定のニューラルネットワークを用いた統計的解析を実行することにより、各音素候補に関する上記
第２の音響的特徴パラメータにおける寄与度を表わす各
目標音素毎の重み係数ベクトルを決定することを特徴とする請求項１又は２記載の音声合成装置。
【請求項５】 上記音声単位選択手段は、上記目標コストと上記連結コストとを含むコストが最良の上位複数Ｎ２個の音素候補を抽出した後、コストが最小となる音素候補の組み合わせを検索することを特徴とする請求項１乃至４のうちの１つに記載の音声合成装置。
【請求項６】 上記第１の音響的特徴パラメータは、ケ
プストラム係数と、デルタケプストラム係数と、音素ラベルとを含むことを特徴とする請求項１乃至５のうちの１つに記載の音声合成装置。
【請求項７】 上記第１の音響的特徴パラメータは、フォルマントパラメータと、声道音源パラメータとを含むことを特徴とする請求項１乃至５のうちの１つに記載の音声合成装置。
【請求項８】 上記韻律的特徴パラメータは、音素時間
長と、音声基本周波数Ｆ0 と、パワーとを含むことを特徴とする請求項１乃至７のうちの１つに記載の音声合成装置。
【請求項９】 上記第２の音響的特徴パラメータは、ケ
プストラム距離を含むことを特徴とする請求項１乃至８のうちの１つに記載の音声合成装置。

10

20

30

40

50

特許３０５０８３２
4【発明の詳細な説明】【０００１】【発明の属する技術分野】本発明は、自然発話の音声波
形信号の音声セグメントを連結することにより任意の音素列を音声合成する自然発話音声波形信号接続型音声合成装置に関する。
【０００２】【従来の技術】図２は、従来例の音声合成装置のブロック図である。図２に示すように、学習用話者の信号波形
データに対して例えばＬＰＣ分析を実行し、１６次ケプ
ストラム係数を含む特徴パラメータを抽出する。抽出された特徴パラメータは、バッファメモリである特徴パラ
メータメモリ６２に記憶された後、当該メモリ６２からパラメータ時系列生成部５２に入力される。次いで、パラメータ時系列生成部５２は、抽出された特徴パラメー
タに基づいて、時間正規化、及びメモリ６３内の韻律制
御規則を用いたパラメータ時系列の生成処理などの信号処理を実行することにより、音声合成に必要な、例えば
１６次のケプストラム係数などのパラメータ時系列を生成して音声合成部５３に出力する。
【０００３】音声合成部５３は公知の音声合成装置であって、有声音を発生するためのパルス発生器５３ａと、無声音を発生するための雑音発生器５３ｂと、フィルタ係数を変更可能なフィルタ５３ｃとを備え、入力されるパラメータ時系列に基づいて、パルス発生器５３ａによって発生される有声音と、雑音発生器５３ｂによって発生される無声音とを切り換え、かつその振幅を制御し、さらには、フィルタ５３ｃの伝達関数に対応するフィル
タ係数を変化することにより、音声合成された音声信号を発生して、スピーカ５４からその音声を出力させる。
【０００４】【発明が解決しようとする課題】しかしながら、従来例の音声合成装置では、韻律制御規則を用いた信号処理を必要とするために、また、処理された特徴パラメータに基づいて音声合成しているために、声質がきわめて悪いという問題点があった。
【０００５】本発明の目的は以上の問題点を解決し、韻律制御規則を使わず、信号処理を実行することなく、任意の音素列を発声音声に変換することができ、しかも従来例に比較して自然に近い声質を得ることができる音声合成装置を提供することにある。
【０００６】【課題を解決するための手段】本発明に係る請求項１記
載の自然発話音声波形信号接続型音声合成装置は、自然発話の音声波形信号の音声セグメントを記憶する第１の記憶手段と、上記第１の記憶手段によって記憶された音
声波形信号の音声セグメントと、上記音声波形信号に対応する音素列とに基づいて、上記音声波形信号における音素毎の索引情報と、上記索引情報によって示された音
素毎の第１の音響的特徴パラメータと、上記索引情報に(3)5よって示された音素毎の韻律的特徴パラメータとを抽出して出力する音声分析手段と、上記音声分析手段から出力される索引情報と、上記第１の音響的特徴パラメータと、上記韻律的特徴パラメータとを記憶する第２の記憶手段と、上記第２の記憶手段によって記憶された第１の音響的特徴パラメータと韻律的特徴パラメータとに基づいて、同一の音素種類の１つの目標音素とそれ以外の音素候補との間の第２の音響的特徴パラメータにおける音響的距離を計算し、上記計算した音響的距離に基づいて各音素候補に対して上記第２の音響的特徴パラメータ毎に所定の統計的解析を実行することにより、各音素候補に対する上記第２の音響的特徴パラメータにおける寄与度を表わす各目標音素毎の重み係数ベクトルを決定する
重み係数学習手段と、上記重み係数学習手段によって決定された上記第２の音響的特徴パラメータにおける各目
標音素毎の重み係数ベクトルを記憶する第３の記憶手段と、上記第３の記憶手段によって記憶された各目標音素毎の重み係数ベクトルと、上記第２の記憶手段によって記憶された韻律的特徴パラメータとに基づいて、入力される自然発話文の音素列に対して、目標音素と音素候補との間の近似コストを表わす目標コストと、隣接して連結されるべき２つの音素候補間の近似コストを表わす連結コストとを含むコストが最小となる、音素候補の組み合わせを検索して、検索した音素候補の組み合わせの索引情報を出力する音声単位選択手段と、上記音声単位選
択手段から出力される索引情報に基づいて、当該索引情報に対応する音声波形信号の音声セグメントを上記第１の記憶手段から逐次読み出して連結して出力することにより、上記入力された音素列に対応する音声を合成して出力する音声合成手段とを備えたことを特徴とする。
【０００７】また、請求項２記載の音声合成装置は、請
求項１記載の音声合成装置において、上記音声分析手段
は、入力される音声波形信号に基づいて上記音声波形信号に対応する音素列を予測する音素予測手段を備えたことを特徴とする。
【０００８】さらに、請求項３記載の音声合成装置は、請求項１又は２記載の音声合成装置において、上記重み係数学習手段は、上記計算した音響的距離に基づいて、最良の上位複数Ｎ１個の音素候補を抽出した後、上記第２の音響的特徴パラメータの各々に対して線形回帰分析
することにより、各音素候補に関する上記第２の音響的特徴パラメータにおける寄与度を表わす各目標音素毎の重み係数ベクトルを決定することを特徴とする。
【０００９】さらに、請求項４記載の音声合成装置は、請求項１又は２記載の音声合成装置において、上記重み係数学習手段は、上記計算した音響的距離に基づいて、最良の上位複数Ｎ１個の音素候補を抽出した後、上記第２の音響的特徴パラメータの各々に対して所定のニュー
ラルネットワークを用いた統計的解析を実行することにより、各音素候補に関する上記第２の音響的特徴パラメ

10

20

30

40

50

特許３０５０８３２
6ータにおける寄与度を表わす各目標音素毎の重み係数ベクトルを決定することを特徴とする。
【００１０】また、請求項５記載の音声合成装置は、請求項１乃至４のうちの１つに記載の音声合成装置において、上記音声単位選択手段は、上記目標コストと上記連結コストとを含むコストが最良の上位複数Ｎ２個の音素候補を抽出した後、コストが最小となる音素候補の組み合わせを検索することを特徴とする。
【００１１】さらに、請求項６記載の音声合成装置は、請求項１乃至５のうちの１つに記載の音声合成装置において、上記第１の音響的特徴パラメータは、ケプストラ
ム係数と、デルタケプストラム係数と、音素ラベルとを含むことを特徴とする。さらに、請求項７記載の音声合成装置は、請求項１乃至５のうちの１つに記載の音声合成装置において、上記第１の音響的特徴パラメータは、
フォルマントパラメータと、声道音源パラメータとを含
むことを特徴とする。
【００１２】また、請求項８記載の音声合成装置は、請求項１乃至７のうちの１つに記載の音声合成装置において、上記韻律的特徴パラメータは、音素時間長と、音声
基本周波数Ｆ0 と、パワーとを含むことを特徴とする。
【００１３】さらに、請求項９記載の音声合成装置は、請求項１乃至８のうちの１つに記載の音声合成装置において、上記第２の音響的特徴パラメータは、ケプストラ
ム距離を含むことを特徴とする。
【００１４】【発明の実施の形態】以下、図面を参照して本発明に係る実施形態について説明する。図１は、本発明に係る一実施形態である自然発話音声波形信号接続型音声合成装
置のブロック図である。例えば図２に示した従来例の音声合成装置では入力された発声音声に対応するテキスト
抽出から音声波形信号の生成までが一連の処理として行なわれるのに対して、本実施形態では、大きく分類すれば、次の４つの処理部に分類される。
（１）音声波形信号データベースメモリ２１内の音声波
形信号データベースの音声波形信号データの音声分析、
具体的には、音素記号系列の生成、音素のアラインメン
ト、特徴パラメータの抽出を含む処理を実行する音声分
析部１０。
（２）最適重み係数を学習しながら決定する重み係数学
習部１１。
（３）入力される音素列に基づいて音声単位の選択を実行して入力音素列に対応する音声波形信号データの索引情報を出力する音声単位選択部１２。
（４）音声単位選択部１２から出力される索引情報に基づいて音声波形信号データベースメモリ２１内の音声波
形信号データベースをランダムにアクセスして最適とされた各音素候補の音声波形信号を再生してスピーカ１４に出力する音声合成部１３。
【００１５】具体的には、音声分析部１０は、入力され(4)7
る自然発話の音声波形信号の音声セグメントと、上記音声波形信号に対応する音素列とに基づいて、上記音声波
形信号における音素毎の索引情報と、上記索引情報によって示された音素毎の第１の音響的特徴パラメータと、
上記索引情報によって示された音素毎の第１の韻律的特徴パラメータとを抽出して出力する。特徴パラメータメ
モリ３０は、上記音声分析部１０から出力される索引情報と、上記第１の音響的特徴パラメータと、上記第１の韻律的特徴パラメータとを記憶する。次いで、重み係数
学習部１１は、特徴パラメータメモリ３０に記憶された第１の音響的特徴パラメータと韻律的特徴パラメータとに基づいて、同一の音素種類の１つの目標音素とそれ以外の音素候補との間の第２の音響的特徴パラメータにおける音響的距離を計算し、上記計算した音響的距離に基づいて各音素候補に対して上記第２の音響的特徴パラメータ毎に所定の統計的解析を実行することにより、各音素候補に対する上記第２の音響的特徴パラメータにおける寄与度を表わす各目標音素毎の重み係数ベクトルを決定する。重み係数ベクトルメモリ３１は、重み係数学習部１１によって決定された上記第２の音響的特徴パラメータにおける各目標音素毎の重み係数ベクトルと、予め与えられた、各音素候補に関する第２の韻律的特徴パラ
メータにおける寄与度を表わす各目標音素毎の重み係数ベクトルとを記憶する。さらに、音声単位選択部１２
は、重み係数ベクトルメモリ３１に記憶された各目標音
素毎の重み係数ベクトルと、特徴パラメータメモリ３０に記憶された第１の韻律的特徴パラメータとに基づいて、入力される自然発話文の音素列に対して、目標音素と音素候補との間の近似コストを表わす目標コストと、隣接して連結されるべき２つの音素候補間の近似コストを表わす連結コストとを含むコストが最小となる、音素候補の組み合わせを検索して、検索した音素候補の組み合わせの索引情報を出力する。そして、音声合成部１３
は、音声単位選択部１２から出力される索引情報に基づいて、当該索引情報に対応する音声波形信号の音声セグ
メントを音声波形信号データベースメモリ２１から逐次読み出して連結してスピーカ１４に出力することにより、音声合成装置は、上記入力された音素列に対応する
音声を合成して出力する。
【００１６】ここで、音声分析部１０の処理は新しい音
声波形信号データベースに対しては必ず一度行なう必要があり、重み係数学習部１１の処理は、一般に一度の処理でよく、重み係数学習部１１によって求めた最適重み係数は異なる音声合成条件に対しても再利用が可能である。さらに、音声単位選択部１２と音声合成部１３の処理は、音声合成すべき入力音素列が変われば、その都度実行される。
【００１７】本実施形態の音声合成装置は与えられたレ
ベルの入力に基づいて必要とする、すべての特徴パラメータを予測し、所望の音声の特徴に最も近いサンプル

10

20

30

40

50

特許３０５０８３２8（すなわち、音素候補の音声波形信号）をメモリ２１内の音声波形信号データベースの中から選び出す。最低限、音素ラベルの系列が与えられれば処理は可能であるが、音声基本周波数Ｆ0 や音素時間長が予め与えられていれば、さらに高品質の合成音声が得られる。なお、入力として単語の情報だけが与えられた場合には、例えば音素隠れマルコフモデル（以下、隠れマルコフモデルを
ＨＭＭという。）などの辞書や規則に基づいて音素系列を予測する必要がある。また、韻律特徴が与えられなかった場合には音声波形信号データベース中のいろいろな環境における音素の既知の特徴を基に標準的な韻律を生成する。
【００１８】本実施形態では、音声波形信号データベー
スメモリ２１内の録音内容を少なくとも正書法で記述されたテキストデータが例えば、テキストデータベースメ
モリ２２内のテキストデータベースのように存在するな
らば、あらゆる音声波形信号データベースが合成用の音
声波形信号データとして利用可能であるが、出力音声の品質は録音状態、音声波形信号データベース中の音素のバランス等に大きく影響を受け、メモリ２１内の音声波
形信号データベースが豊富な内容であれば、より多様な音声が合成でき、反対に音声波形信号データベースが貧弱であれば、合成音声は不連続感が強く、ブツブツしたものになる。
【００１９】次いで、自然な発話音声に対する音素ラベ
ル付けについて説明する。音声単位の選択の善し悪しは
音声波形信号データベース中の音素のラベル付けと検索の方法に依存する。ここで、好ましい実施例においては、音声単位は、音素である。まず、録音された音声に付与された正書法の発話内容を音素系列に変換し、さらに音声波形信号に割り当てる。韻律的特徴パラメータの抽出はこれに基づいて行なわれる。音声分析部１０の入力はメモリ２２内の音素表記を伴ったメモリ２１内の音声波形信号データであり、出力は特徴ベクトル又は特徴
パラメータである。この特徴ベクトルは音声波形信号データベース中で音声サンプルを表す基本単位となり、最適な音声単位の選択に用いられる。
【００２０】音声分析部１０の処理における第１段階においては、正書法で書かれた発話内容が実際の音声波形
信号データでどのように発音されているかを記述するための正書法テキストから音素記号への変換である。次いで、第２段階においては、韻律的及び音響的特徴を計測するために各音素の開始及び終了時点を決めるために、
各音素記号を音声波形信号に対応付ける処理である（以下、当該処理を、音素のアラインメント処理という。）。さらに、第３段階においては、各音素の特徴ベクトル又は特徴パラメータを生成することである。この
特徴ベクトルには、必須項目として音素ラベル、メモリ
３０内の音声波形信号データベース中の各ファイルにおける当該音素の開始時刻（開始位置）、音声基本周波数

(5)特許３０５０８３２

9
10
Ｆ0 、音素時間長、パワーの情報が記憶され、さらに、＊ えば、次の表１のようになる。
特徴パラメータのオプションとしてストレス、アクセン【００２１】
ト型、韻律境界に対する位置、スペクトル傾斜等の情報【表１】が記憶される。以上の特徴パラメータを整理すると、例＊───────────────────────────────────
索引情報：
索引番号（１つのファイルに対して付与）
メモリ３０内の音声波形信号データベース中の各ファイルにおける当該音素の開始時刻（開始位置）───────────────────────────────────
第１の音響的特徴パラメータ：
１２次メルケプストラム係数
１２次Δメルケプストラム係数
音素ラベル
弁別素性：
母音性（vocalic）（＋）／非母音性（non‑vocalic）（−）
子音性（consonantal）（＋）／非子音性（non‑consonantal）（−）
中断性（interrupted）（＋）／連続性（continuant）（−）
抑止性（checked）（＋）／非抑止性（unchecked）（−）
粗擦性（strident）（＋）／円熟性（mellow）（−）
有声（voiced）（＋）／無声（unvoiced）（−）
集約性（compact）（＋）／拡散性（diffuse）（−）
低音調性（grave）（＋）／高音調性（acute）（−）
変音調性（flat）（＋）／常音調性（plain）（−）
嬰音調性（sharp）（＋）／常音調性（plain）（−）
緊張性（tense）（＋）／弛緩性（lax）（−）
鼻音性（nasal）（＋）／口音性（oral）（−）
───────────────────────────────────
第１の韻律的特徴パラメータ：
音素時間長
音声基本周波数Ｆ0
パワー───────────────────────────────────
【００２２】とって代わって、第１の音響的特徴パラメ
定することができる。
ータは、好ましくは、フォルマントパラメータと、声道【００２３】
音源パラメータであってもよい。上記索引情報内の開始【表２】音声分析部１０の出力結果である特徴パラメー
時刻（開始位置）、第１の音響的特徴パラメータ及び第タの一例
１の韻律的特徴パラメータは、各音素毎に特徴パラメー
索引番号Ｘ０００５
タメモリ３０に記憶される。ここで、音素ラベルに付与──────────────────────
される、例えば１２個の弁別素性の特徴パラメータは各 40 音素 時間長 基本周波数 パワー ………
項目別に（＋）又は（−）のパラメータ値が与えられ──────────────────────る。さらに、音声分析部１０の出力結果である特徴パラ＃
１２０
９０
４．０ ………
メータの一例を表２に示す。ここで、索引番号は、音声ｓ
１７５
９８
４．７ ………
波形信号データベースメモリ２１において、例えば複数
ｅｉ
９５
１０２
６．５ ………
の文からなる１つのパラグラフ又は１つの文のファイル
ｄｈ
３０
１１４
４．９ ………
毎に、索引番号が付与され、そして、１つの索引番号が
ｉｈ
７５
１４３
６．９ ………
付与されたファイル中の任意の音素の位置を示すために
ｓ
１５０
１４０
５．７ ………
当該ファイル内の開始時刻から計時された当該音素の開ｐ８７１３７５．１ ………
始時刻及びその当該音素の音素時間長とを付与すること
ｌ３４
１０７
４．９ ………
により、当該音素の音声波形信号の音声セグメントを特 50 ｉｉ １５０
９８
６．３ ………

(6)
11
ｚ
１４０
８７
５．８ ………
＃
２５３
８７
４．０ ………
───────────────────────
【００２４】表２において、＃はポーズを示す。音声単
位を選択する場合に、音響的及び韻律的な各特徴パラメータがそれぞれの音素でどれだけの寄与をするかを予め調べておくことが必要であり、第４段階では、このために音声波形信号データベース中のすべての音声サンプル
を用いて各特徴パラメータの重み係数を決定する。
【００２５】音声分析部１０における音素記号系列の生成処理においては、上述した通り、本実施形態では、少なくとも録音内容が正書法で記述されたものがあれば、あらゆる音声波形信号データベースが合成用の音声波形
信号データとして利用可能である。入力として単語の情報だけが与えられた場合には辞書や規則に基づいて音素系列を予測する必要がある。また、音声分析部１０における音素のアラインメント処理においては、読み上げ音
声の場合、各単語がそれぞれの標準の発音に近く発音されることが多く、躊躇したり、言い淀んだりすることもまれである。このような音声波形信号データの場合には簡単な辞書検索によって音素ラベリングが正しく行なわ
れ、音素アラインメント用の音素ＨＭＭの音素モデルの学習が可能となる。
【００２６】音素アラインメント用の音素モデルの学習では完全な音声認識の場合と異なり、学習用の音声波形
信号データとテスト用の音声波形信号データとを完全に分離する必要はなく、すべての音声波形信号データを用
いて学習を行なうことができる。まず、別の話者用のモデルを初期モデルとし、すべての単語について標準発音か限られた発音変化のみを許し、適切なセグメンテーシ
ョンが行なわれるように、全音声波形信号データを用いてビタビの学習アルゴリズムを用いて音素のアライメン
トを行ない、特徴パラメータの再推定を行なう。単語間のポーズは単語間ポーズ生成規則によって処理するが、単語内にポーズがあってアライメントが失敗した場合には人手により修正する必要がある。
【００２７】どういう音素ラベルを音素表記として用いるかは選択が必要である。もし良く学習されたＨＭＭモデルが利用できるような音素セットが存在するなら、それを用いることが有利である。反対に、音声合成装置が完全な辞書を持っているなら、音声波形信号データベースのラベルを完全に辞書と照合する方法も有効である。
我々は、重み係数の学習に対して選択の余地があるから、後で音声合成装置が予測したものと等価なものを音
声波形信号データベースの中から照合できるかどうかを最も重要な規準とすれば良い。発音の微妙な違いはその発音の韻律的環境によって自動的に把握されるため、特に手作業で音素のラベル付けを行なう必要はない。
【００２８】前処理の次の段階として、個々の音素の調音的な特徴を記述するための韻律特徴パラメータの抽出

10

20

30

40

50

特許３０５０８３２
12を行なう。従来の音声学では、調音位置や調音様式といった素性で言語音を分類した。これに対して、ファース（Ｆｉｒｔｈ）学派のような韻律を考慮した音声学では、韻律的文脈の違いから生ずる細かな音質の違いをとらえるために、明瞭に調音されている箇所や強調が置かれている箇所を区別する。これらの違いを記述する方法
はいろいろなものがあるが、ここでは以下の２つの方法を用いる。まず低次のレベルでは、１次元の特徴を求めるために、パワー、音素時間長の伸び及び音声基本周波数Ｆ0 を、ある音素について平均した値を用いる。一方、高次のレベルでは、韻律特徴における上記の違いを考慮した韻律境界や強調箇所をマークする方法を用いる。これらの２種類の特徴は相互に密接に関係しているため一方から他方を予測することができるが、両者は共に各音素の特徴に強い影響を与えている。
【００２９】音声波形信号データベースを記述するための音素セットの規定法に自由度があるのと同様に、韻律的特徴パラメータの記述方法についても自由度がある
が、これらの選び方は音声合成装置の予測能力に依存する。もし音声波形信号データベースが予めラベリングされているなら、音声合成装置の仕事は内部表現から音声波形信号データベース中の実音声をいかに行なうかを適切に学習することである。これに対して、もし音声波形
信号データベースが音素のラベル付けがなされていないなら、どのような特徴パラメータを使えば音声合成装置が最も適切な音声単位を予測できるかから検討することが必要となる。この検討及び最適な特徴パラメータの重みの決定学習は、各特徴パラメータに対する重み係数を学習しながら決定する重み係数学習部１１において実行される。
【００３０】次いで、重み係数学習部１１によって実行される重み係数学習処理について述べる。与えられた目
標音声の音響的及び韻律的な環境に最適なサンプルを音
声波形信号データベースから選択するために、まずどの特徴がどれだけ寄与しているかを音素的及び韻律的な環境の違いによって決める必要がある。これは音素の性質
によって重要な特徴パラメータの種類が変化するため
で、例えば、音声基本周波数Ｆ0 は有声音の選択には極めて有効であるが、無声音の選択にはほとんど影響がない。また、摩擦音の音響的特徴は前後の音素の種類によって影響が変わる。最適な音素を選択するためにそれぞれの特徴にどれだけの重みを置くかを最適重み決定処
理、すなわち重み係数学習処理で自動的に決定する。
【００３１】重み係数学習部１１によって実行される最適重み係数の決定処理で、最初に行なわれることは音声
波形信号データベース中で該当するすべての発話サンプ
ルの中から最適なサンプルを選ぶときに使われる特徴をリストアップすることである。ここでは、調音位置や調音様式等の音素的特徴と先行音素、当該音素、及び後続音素の音声基本周波数Ｆ0 、音素時間長、パワー等の韻(7)13律的特徴パラメータ等を用いる。具体的には、詳細後述
する第２の韻律的特徴パラメータを用いる。次いで、第２段階では各音素毎に、最適な候補を選ぶ際にどの特徴パラメータがどれだけ重要かを決定するために、１つの音声サンプル（又は音素の音声波形信号）に着目し、他のすべての音素サンプルとの音素時間長の差をも含む音
響的距離を求め、上位Ｎ２個の最良の類似音声サンプ
ル、すなわちＮ２ベストの音素候補の音声波形信号の音
声セグメントを選び出す。
【００３２】さらに、第３段階では線形回帰分析を行ない、それらの類似音声サンプルを用いて種々の音響的及
び韻律的環境におけるそれぞれの特徴パラメータの重要度を示す重み係数を求める。当該線形回帰分析処理における韻律的特徴パラメータとして、例えば、次の特徴パラメータ（以下、第２の韻律的特徴パラメータという。）を用いる。
（１）処理すべき当該音素から１つだけ先行する先行音
素（以下、先行音素という。）の第１の韻律的特徴パラ
メータ；（２）処理すべき当該音素から１つだけ後続する後続音
素（以下、後続音素という。）の音素ラベルの第１の韻律的特徴パラメータ；（３）当該音素の音素時間長；（４）当該音素の音声基本周波数Ｆ0 ；（５）先行音素の音声基本周波数Ｆ0 ；及び、
（６）後続音素の音声基本周波数Ｆ0 。
ここで、先行音素は、当該音素から１つだけ先行する音素としているが、これに限らず、複数の音素だけ先行する音素を含んでもよい。また、後続音素は、当該音素から１つだけ後続する音素としているが、これに限らず、複数の音素だけ後続する音素を含んでもよい。さらに、後続音素の音声基本周波数Ｆ0 を除外してもよい。以上の実施形態においては、線形回帰分析を行って、重み係数を求めているが、本発明はこれに限らず、例えば、所定のニューラルネットワークを用いた統計的解析などの種々の統計的解析を用いて、重み係数を求めてもよい。
【００３３】次いで、自然な音声サンプルの選択を行う
音声単位選択部１２の処理について説明する。従来例の音声合成装置では目的の発話に対して音素系列を決定し、さらに韻律制御のためのＦ0 と音素時間長の目標値が計算された。これに対して、本実施形態では最適の音
声サンプルを適切に選択するために韻律が計算されるだ
けで、直接韻律を制御することは行なわれない。
【００３４】図３は、図１の音声単位選択部１２の処理の入力は、目的発話の音素系列と、それぞれの音素毎に求めた各特徴に対する重みベクトル及び音声波形信号データベース中の全サンプルを表す特徴ベクトルである。
一方、出力は音声波形信号データベース中での音素サン
プルの位置を表す索引情報であって、音声波形信号の音
声セグメントを接続するためのそれぞれの音声単位（具

10

20

30

特許３０５０８３２14
体的には音素、場合により複数の音素の系列が連続して選択され、一つの音声単位となることがある）の開始位
置と音声単位時間長を示したものである。
【００３５】最適な音声単位は目的発話との差の近似コストを表す目標コストと、隣接音声単位間での不連続性の近似コストを表す連結コストの和を最小化するパスとして求められる。経路探索には公知のビタビの学習アルn
ゴリズムが利用される。目的とする目標音声ｔ1 ＝（ｔ
1 ，…，ｔn ）に対しては、目標コストと連結コストの和を最小化することで、各特徴が目的音声に近く、しかも
音声単位間の不連続性が少ない音声波形信号データベーn
ス中の音声単位の組合せｕ1 ＝（ｕ1 ，…，ｕn ）を選ぶことができ、これらの音声単位の音声波形信号データベース内での位置を示すことにより、任意の発話内容の音声合成が可能になる。
【００３６】音声単位の選択コストは、図３に示すよう
tcに、目標コストＣ （ｕi ，ｔi ）と連結コストＣ （ｕti‑1 ，ｕi ）からなり、目標コストＣ （ｕi ，ｔi ）は、
音声波形信号データベース中の音声単位（音素候補）ｕi と、合成音声として実現したい音声単位（目標音素）cｔi の間の差の予測値であり、連結コストＣ （ｕi‑1 ，ｕi ）は接続単位（接続する２つの音素）ｕi‑1 とｕi との間の接続で起こる不連続の予測値である。例えば、本出願人によって研究実用化された従来のＡＴＲν−Ｔａ
ｌｋ音声合成システムも目標コストと連結コストを最小化するという点では類似の考え方を取っていたが、韻律的な特徴パラメータを直接に単位選択に用いるということは本実施形態の音声合成装置の新しい特徴となっている。
【００３７】次いで、コストの計算について述べる。目
標コストは実現したい音声単位の特徴ベクトルと音声波
形信号データベース中から選ばれた候補の音声単位の特
徴ベクトルの各要素の差の重み付き合計であり、各目標tt
サブコストＣ j （ｔi ，ｕi ）の重み係数ｗ j が与えられt
た場合、目標コストＣ （ｔi ，ｕi ）は次式で計算することができる。
【００３８】
【数１】

40

50

【００３９】ここで、特徴ベクトルの各要素の差はｐ個tの目標サブコストＣ j （ｔi ，ｕi ）（ただし、ｊは１からｐまでの自然数である。）で表され、特徴ベクトルの次元数ｐは、好ましい実施例においては、２０から３０の範囲で可変としている。より好ましい実施例においてtは、次元数ｐ＝３０であり、目標サブコストＣ （ｔi ，tｕi ）及び重み係数ｗ j における変数ｊの特徴ベクトル
又は特徴パラメータは、上述の第２の韻律的特徴パラメ

(8)特許３０５０８３２

15
16ータである。
＊ る上記３つの第３の音響的特徴パラメータを取り扱うか
c【００４０】一方、連結コストＣ （ｕi‑1 ，ｕi ）も同ら例えば０から１までの任意のアナログ量をとる一方、c様にｑ個の連結サブコストＣ j （ｕi‑1 ，ｕi ）（ただ目標コストは、それぞれの先行あるいは後続音素の弁別
し、ｊは１からｑまでの自然数である。）の重み付き合素性が一致するか否かなどを示す上記３０個の第２の音計で表される。連結サブコストは接続する音声単位ｕ
響的特徴パラメータを取り扱うから、例えば０（特徴がi‑1 とｕi の音響的特徴から決定することができる。好ま一致しているとき）又は１（特徴が一致していないとしい実施形態においては、連結サブコストとしては、
き）のデジタル量で表される要素を含む。そして、Ｎ個（１）音素接続点におけるケプストラム距離、（２）対の音声単位の連結コストはそれぞれの音声単位の目標コ
数パワーの差の絶対値、（３）音声基本周波数Ｆ0 の差
ストと連結コストの和となり、次式で表される。
の絶対値の３種類を用いており、すなわち、ｑ＝３であ 10 【００４３】
る。これら３種類の音響的特徴パラメータと、先行音素【数３】の音素ラベルと、後続音素の音素ラベルとを、第３の音c
響的特徴パラメータという。各連結サブコストＣ j （ｕci‑1 ，ｕi ）の重みｗ j は予め経験的に（又は実験的に）c与えられ、この場合、連結コストＣ （ｕi‑1 ，ｕi ）は次式で計算することができる。
【００４１】c【数２】【００４４】このとき、Ｓはポーズを表しており、Ｃc（Ｓ，ｕ1 ）及びＣ （ｕn ，Ｓ）はポーズから最初の音
20 声単位へ及び最後の音声単位からポーズへの接続における連結コストを表している。この表現からも明らかなように、本実施形態ではポーズも音声波形信号データベー【００４２】もし、音素候補ｕi‑1 とｕi が音声波形信号
ス中の他の音素とまったく同じ扱い方をしている。さらデータベース中の連続する音声単位であった場合には、に上の式をサブコストで直接表現すると次式のようにな接続は自然であり、連結コストは０になる。ここで、好る。
ましい実施例においては、連結コストは、特徴パラメー【００４５】
タメモリ３０内の第１の音響的特徴パラメータと第１の【数４】
韻律的特徴パラメータに基づいて決定され、連続量であ＊【００４６】音声単位選択処理は上式で決まる全体のコnストを最小にするような音声単位の組合せ／ｕ1 を決定するためのものである。ここで、日本出願の明細書では、オーバーラインを記述することができないために、
オーバーラインの代わりに／を用いる。
【００４７】
40nnn【数５】／ｕ1 ＝ ｍｉｎ Ｃ（ｔ1 ，ｕ1 ）
ｕ1 ,ｕ2 ,…,ｕn【００４８】上記数５において、関数ｍｉｎは、当該関nn数の引数であるＣ（ｔ1 ，ｕ1 ）を最小にする音素候補の組み合わせ（すなわち、音素列候補）ｕ1 ,ｕ2 ,…,ｕnn＝／ｕ1 を表わす関数である。
【００４９】図１の重み係数学習部１１における重み係
数の学習処理について以下説明する。目標サブコストの重みは音響的距離に基づく線形回帰分析を用いて決定する。重み係数の学習処理ではすべての音素毎に異なる重 50

み係数を決めることもできるし、音素カテゴリ（例えば、すべての鼻音）毎に重み係数を決めることもできる。また、すべての音素について共通の重み係数を決めることもできるが、ここでは各音素で別々の重み係数を用いることとする。特徴パラメータメモリ３０内のデー
タベースにおける各トークン（又は各音声サンプル）
は、各トークンの音響的特徴に関係する第１の音響的特徴パラメータと第１の韻律的特徴パラメータの組で記述されている。重み係数は、第１の音響的特徴パラメータと第１の韻律的特徴パラメータの各パラメータと、トークン又はコンテキストにおける音素の第２の音響的特徴
パラメータにおける差又は音響的距離との間の関係の強さ（寄与度）を決定するために学習される。以下に線形回帰分析における処理の流れを示す。
【００５０】＜１＞現在学習を行なっている音素種類（又は音素カテゴリ）に属する音声波形信号データベー(9)17ス中のすべてのサンプルについて繰り返し以下の４つの処理（ａ）乃至（ｄ）を実行する。
（ａ）取り上げた音声サンプルを目的の発話内容と見なす。
（ｂ）音声波形信号データベース中の同一の音素種類（カテゴリ）に属する他のすべてのサンプルと当該音声サンプルとの音響的距離を計算する。
（ｃ）目標音素に近いもの上位Ｎ１個（例えば、Ｎ１＝２０個である。）の最良の音素候補を選び出す。
（ｄ）目標音素自身ｔi と上記（ｃ）で選んだ上位Ｎ１
t
個のサンプルについて目標サブコストＣ j （ｔi ，ｕi ）を求める。
＜２＞すべての目標音素ｔi と上位Ｎ１個の最適サンプtルについて音響的距離と目標サブコストＣ j （ｔi ，ｕi ）を求める。
＜３＞ｐ個の目標サブコストに対して線形回帰分析を実行することにより、上記目標音素を表わす第１の音響的特徴パラメータと第１の韻律的特徴パラメータの各特徴
パラメータにおける寄与度を予測して、当該音素種類（カテゴリ）に対する、ｐ個の目標サブコストの線形重み係数を求める。
この重み係数を用いて上記コストを計算する。そして、＜１＞から＜３＞までの処理をすべての音素種類（カテゴリ）について繰り返す。
【００５１】もし仮に目的音声単位の音響的距離が直接求められた場合に最も近い音声サンプルを選び出すためにはそれぞれの目標サブコストにどのような重み係数をかければ良いのかを決定するのが、この重み係数学習部
１１の目的である。本実施形態の利点は音声波形信号データベース中の音声波形信号の音声セグメントを直接的に利用できることである。
【００５２】以上のように構成された図１の音声合成装置において、音声分析部１０と、重み係数学習部１１と、音声単位選択部１２と、音声合成部１３とは、例えば、マイクロプロセッシングユニット（ＭＰＵ）などのデジタル計算機又は演算制御装置によって構成される一方、テキストデータベースメモリ２２と、音素ＨＭＭメ
モリ２３と、特徴パラメータメモリ３０と、重み係数ベ
クトルメモリ３１とは例えばハードディスクなどの記憶装置で構成される。ここで、好ましい実施例においては、音声波形信号データベースメモリ２１は、ＣＤ−Ｒ
ＯＭの形式の記憶装置である。以下、以上のように構成された図１の音声合成装置の各処理部１０乃至１３における処理について説明する。
【００５３】図４は、図１の音声分析部１０によって実行される音声分析処理のフローチャートである。図４に
おいて、まず、ステップＳ１１で、音声波形信号データ
ベースメモリ２１から自然発話の音声波形信号の信号を入力してＡ／Ｄ変換してデジタル音声波形信号データに変換するとともに、当該音声波形信号の音声文を書き下

10

20

30

40

50

特許３０５０８３２
18
したテキストデータをテキストデータベースメモリ２２
内のテキストデータベースから入力する。ここで、テキストデータはなくてもよく、ない場合は、音声波形信号から公知の音声認識装置を用いて音声認識してテキストデータを得てもよい。なお、Ａ／Ｄ変換した後のデジタ
ル音声波形信号データは、例えば１０ミリ秒毎の音声セ
グメントに分割されている。そして、ステップＳ１２で、音素列が予測されているか否かが判断され、音素列が予測されていないときは、ステップＳ１３で例えば音素ＨＭＭを用いて音素列を予測して記憶した後、ステッ
プＳ１４に進む。ステップＳ１２で音素列が予測されている又は予め与えられている、もしくは手作業で音素ラベルが付与されているときは、直接にステップＳ１４に進む。
【００５４】ステップＳ１４では、各音素セグメントに対する、音声波形信号の複数の文又は１つの文からなる
ファイルにおける開始位置と終了位置を記録し、当該ファイルに索引番号を付与する。次いで、ステップＳ１５では、各音素セグメントに対する上記第１の音響的特徴
パラメータを例えば公知のピッチ抽出法を用いて抽出する。そして、ステップＳ１６では、各音素セグメントに対して音素ラベル付けを実行して、音素ラベルとそれに対する第１の音響的特徴パラメータを記録する。さらに、ステップＳ１７では、各音素セグメントに対する第１の音響的特徴パラメータと、音素ラベルと、音素ラベルに対する上記第１の韻律的特徴パラメータを、ファイルの索引番号と、ファイル内の開始位置と時間長とともに、特徴パラメータメモリ３０に記憶する。最後に、ス
テップＳ１８で、各音素セグメントに対して、ファイルの索引番号とファイル内の開始位置と時間長とを含む索引情報を付与して、当該索引情報を特徴パラメータメモ
リ３０に記憶して、当該音声分析処理を終了する。
【００５５】図５及び図６は、図１の重み係数学習部１
１によって実行される重み係数学習処理のフローチャー
トである。図５において、まず、ステップＳ２１で、特徴パラメータメモリ３０から１個の音素種類を選択する。次いで、ステップＳ２２で、選択された音素種類と同一の音素種類を有する音素の第１の音響的特徴パラメータから第２の音響的特徴パラメータを取り出して目標
音素の第２の音響的特徴パラメータとする。そして、ス
テップＳ２３で、同一の音素種類を有する目標音素以外の残りの音素と、第２の音響的特徴パラメータにおける
目標音素との間の、音響的距離であるユークリッドケプ
ストラム距離と、底を２とする対数音素時間長とを計算する。ステップＳ２４では、すべての残りの音素についてステップＳ２２及びＳ２３の処理をしたか否かが判断され、処理が完了していないときは、ステップＳ２５で別の残りの音素を選択してステップＳ２３からの処理を繰り返す。
【００５６】一方、ステップＳ２４で処理が完了してい

(10)
19
るときは、ステップＳ２６で、ステップＳ２３で得られた距離及び時間長に基づいて、上位Ｎ１個の最良の音素候補を選択する。次いで、ステップＳ２７で選択された
上位Ｎ１個の最良の音素候補について１番目からＮ１番目までランク付けする。そして、ステップＳ２８で、ランク付けされたＮ１個の最良の音素候補に対して各距離から中間値を引いてスケール変換値を計算する。そして、ステップＳ２９において、すべての音素種類及び音素についてステップＳ２２からＳ２８までの処理を完了したか否かが判断され、完了していないときは、ステップＳ３０で別の音素種類又は音素を選択した後、ステッ
プＳ２２からの処理を繰り返す。一方、ステップＳ２９で処理が完了しているときは、図６のステップＳ３１に進む。
【００５７】図６において、ステップＳ３１では、１個の音素種類を選択する。次いで、ステップＳ３２では、選択された音素種類に対して各音素の第２の音響的特徴
パラメータを抽出する。そして、ステップＳ３３で、選択された音素種類に対するスケール変換値に基づいて線形回帰分析を行うことにより、各第２の音響的特徴パラ
メータにおけるスケール変換値に対する寄与度を計算し、計算された寄与度を目標音素毎の重み係数として重み係数ベクトルメモリ３１に記憶する。ステップＳ３４
では、すべての音素種類について上記ステップＳ３２及びＳ３３の処理を完了したか否かが判断され、完了していないときは、ステップＳ３５で別の音素種類を選択した後、ステップＳ３２からの処理を繰り返す。一方、ステップＳ３４で処理が完了しているときは、当該重み係
数学習処理を終了する。なお、各第２の韻律的特徴パラ
メータにおける寄与度は経験的に（又は実験的に）予め与えられて、当該寄与度を目標音素毎の重み係数ベクト
ルとして重み係数ベクトルメモリ３１に記憶する。
【００５８】図７は、図１の音声単位選択部１２によって実行される音声単位選択処理のフローチャートである。図７において、まず、ステップＳ４１で、入力された音素列のうち最初から１個目の音素を選択する。次いで、ステップＳ４２で、選択された音素と同一の音素種類を有する音素の重み係数ベクトルを重み係数ベクトル
メモリ３１から読み出し、目標サブコスト及び必要な特徴パラメータを特徴パラメータメモリ３０から読み出してリストアップする。そして、ステップＳ４３ですべての音素について処理したか否かが判断され、完了していないときはステップＳ４４で次の音素を選択した後、ステップＳ４２の処理を繰り返す。一方、ステップＳ４３で完了していないときは、ステップＳ４５に進む。
【００５９】ステップＳ４５では、入力された音素列に対して数４を用いて各音素候補における全体のコストを計算する。次いで、ステップＳ４６では、計算されたコ
ストに基づいて、上位Ｎ２個の最良の音素候補をそれぞれの目標音素に対して選択する。そして、ステップＳ４

10

20

30

40

50

特許３０５０８３２
20
７では、数５を用いてビタビサーチにより、全体のコストを最小にする音素候補の組み合わせの索引情報と、その各音素の開始時刻と時間長とともに検索した後、音声合成部１３に出力して、当該音声単位選択処理を終了する。
【００６０】さらに、音声合成部１３は、音声単位選択
部１２から出力される索引情報と、その各音素の開始時
刻と時間長とに基づいて、音声波形信号データベースメ
モリ２１に対してアクセスして単位選択された音素候補のデジタル音声波形信号データを読み出して、逐次Ｄ／
Ａ変換して変換後のアナログ音声信号をスピーカ１４を介して出力する。これにより、入力された音素列に対応する音声合成された音声がスピーカ１４から出力される。
【００６１】以上説明したように、本実施形態の音声合成装置においては、出力音声の自然性を最大にするために、大規模な自然音声のデータベースを用いて処理を最小に抑える方法について述べた。本実施形態は４つの処
理部１０乃至１３から構成される。
＜音声分析部１０＞正書法の書き起こしテキストを伴った任意の音声波形信号データを入力とし、この音声波形
信号データベース中のすべての音素について、それらの性質を記述する特徴ベクトルを与える処理部。
＜重み係数学習部１１＞音声波形信号データベースの特徴ベクトルと音声波形信号データベースの原波形を用いて、目的の音声を合成する場合に最も適するように音声単位を選ぶための、各特徴パラメータの最適重み係数を
重みベクトルとして決定する処理部。
＜音声単位選択部１２＞音声波形信号データベースの全音素の特徴ベクトルと重みベクトルと目的音声の発話内
容の記述から音声波形信号データベースメモリ２１の索引情報を作成する処理部。
＜音声合成部１３＞作成された索引情報に従って、メモリ２１内の音声波形信号データベース中の音声波形信号
データの音声セグメントに飛び飛びにアクセスし、目的の音声波形信号の音声セグメントを連結しかつＤ／Ａ変
換してスピーカ１４に出力して音声を合成する処理部。
【００６２】本実施形態においては、音声波形信号の圧
縮や音声基本周波数Ｆ0 や音素時間長の修正は不要になったが、代わって音声サンプルを注意深くラベル付け
し、大規模な音声波形信号データベースの中から最適なものを選択することが必要となる。本実施形態の音声合成方法の基本単位は音素であり、これは辞書やテキスト−音素変換プログラムで生成されるが、同一の音素であっても音声波形信号データベース中に音素の十分なバリ
エーションを含んでいることが要求される。音声波形信号データベースからの音声単位選択処理では目的の韻律的環境に適合し、しかも接続したときに隣接音声単位間での不連続性が最も低い音素サンプルの組合せが選ばれる。このために、音素毎に各特徴パラメータの最適重み

(11)
21
係数が決定される。
【００６３】本実施形態の音声合成装置の特徴は、次の通りである。
＜単位選択規準としての韻律的情報の利用＞スペクトル
的特徴は韻律的特徴と不可分であるとの立場から、音声
単位の選択規準に韻律的な特徴を導入した。
＜音響的及び韻律的特徴パラメータの重み係数の自動学
習＞音素環境や音響的特徴、韻律的特徴等の各種の特徴
量が音声単位の選択にどれだけの寄与があるかを音声波
形信号データベース中の全音声サンプルを利用することで自動的に決定し、コーパスを基本とする音声合成装置を構築した。
＜音声波形信号の直接接続＞上記の自動学習により、大規模音声波形信号データベースから最適な音声サンプルを選び出すことにより、何らの信号処理も利用しない任意音声合成装置を構築した。
＜音声波形信号データベースの外部情報化＞音声波形信号データベースを完全に外部情報として取り扱うことにより、単にＣＤ−ＲＯＭ等に記憶した音声波形信号デー
タを取り替えることで任意の言語、任意の話者に利用できる音声合成装置を構築した。
【００６４】【実施例】本実施形態の音声合成装置を用いて、発明者はこれまで４カ国語を含む各種の音声波形信号データベースで評価を行なっている。周知の通り、従来は女性話
者の音声を用いて高品質の音声を合成することは技術的に大変難しかったが、本実施形態の方法では性別や年齢などによる差がなくなった。現在のところ、日本語では若年の女性話者が短い物語を読み上げた音声波形信号データベースを用いた場合に最も高品質の合成音声が得られている。一方、ドイツ語については韻律ラベルと詳細な音素ラベルが付与された読み上げ文のＣＤ−ＲＯＭデータを用いた合成音声を出力している。これは特別に音声合成用に録音した音声波形信号データではなく、本実
施形態の音声合成装置が既存の各種の音声波形信号デー
タを技術的には自由に利用できることを示している。また、英語ではボストン大学のニュース・コーパスのラジ
オ・アナウンサの４５分間の音声波形信号データで最も良い音質が得られている。なお、韓国語については短い物語の読み上げ音声を用いている。
【００６５】【発明の効果】以上詳述したように本発明に係る請求項
１記載の自然発話音声波形信号接続型音声合成装置によれば、自然発話の音声波形信号の音声セグメントを記憶する第１の記憶手段と、上記第１の記憶手段によって記憶された音声波形信号の音声セグメントと、上記音声波
形信号に対応する音素列とに基づいて、上記音声波形信号における音素毎の索引情報と、上記索引情報によって示された音素毎の第１の音響的特徴パラメータと、上記索引情報によって示された音素毎の韻律的特徴パラメー

10

20

30

40

50

特許３０５０８３２
22
タとを抽出して出力する音声分析手段と、上記音声分析
手段から出力される索引情報と、上記第１の音響的特徴
パラメータと、上記韻律的特徴パラメータとを記憶する
第２の記憶手段と、上記第２の記憶手段によって記憶された第１の音響的特徴パラメータと韻律的特徴パラメー
タとに基づいて、同一の音素種類の１つの目標音素とそ
れ以外の音素候補との間の第２の音響的特徴パラメータにおける音響的距離を計算し、上記計算した音響的距離に基づいて各音素候補に対して上記第２の音響的特徴パ
ラメータ毎に所定の統計的解析を実行することにより、各音素候補に対する上記第２の音響的特徴パラメータにおける寄与度を表わす各目標音素毎の重み係数ベクトルを決定する重み係数学習手段と、上記重み係数学習手段
によって決定された上記第２の音響的特徴パラメータにおける各目標音素毎の重み係数ベクトルを記憶する第３の記憶手段と、上記第３の記憶手段によって記憶された
各目標音素毎の重み係数ベクトルと、上記第２の記憶手
段によって記憶された韻律的特徴パラメータとに基づいて、入力される自然発話文の音素列に対して、目標音素と音素候補との間の近似コストを表わす目標コストと、隣接して連結されるべき２つの音素候補間の近似コストを表わす連結コストとを含むコストが最小となる、音素候補の組み合わせを検索して、検索した音素候補の組み合わせの索引情報を出力する音声単位選択手段と、上記
音声単位選択手段から出力される索引情報に基づいて、
当該索引情報に対応する音声波形信号の音声セグメントを上記第１の記憶手段から逐次読み出して連結して出力することにより、上記入力された音素列に対応する音声を合成して出力する音声合成手段とを備える。従って、韻律制御規則を使わず、信号処理を実行することなく、任意の音素列を発声音声に変換することができ、しかも従来例に比較して自然に近い声質を得ることができる。
【００６６】また、請求項２記載の音声合成装置においては、請求項１記載の音声合成装置において、上記音声分析手段は、好ましくは、入力される音声波形信号に基づいて上記音声波形信号に対応する音素列を予測する音
素予測手段を備える。従って、予め音素列を与える必要がないので、手作業の部分を簡単化することができる。
【００６７】さらに、請求項３記載の音声合成装置においては、請求項１又は２記載の音声合成装置において、
上記重み係数学習手段は、好ましくは、上記計算した音響的距離に基づいて、最良の上位複数Ｎ１個の音素候補を抽出した後、上記第２の音響的特徴パラメータにおいて線形回帰分析することにより、各音素候補に関する上
記第２の音響的特徴パラメータにおける寄与度を表わす
各目標音素毎の重み係数ベクトルを決定する。従って、韻律制御規則を使わず、信号処理を実行することなく、任意の音素列を発声音声に変換することができ、しかもより自然に近い声質を得ることができる。
【００６８】さらに、請求項４記載の音声合成装置にお(12)

特許３０５０８３２

23
24
いては、請求項１又は２記載の音声合成装置において、＊ 【図２】 従来例の音声合成装置のブロック図である。
上記重み係数学習手段は、好ましくは、上記計算した音【図３】 図１の音声単位選択部によって計算される音
響的距離に基づいて、最良の上位複数Ｎ１個の音素候補
声単位選択コストの定義を示すモデル図である。
を抽出した後、上記第２の音響的特徴パラメータの各々【図４】 図１の音声分析部によって実行される音声分に対して所定のニューラルネットワークを用いた統計的析処理のフローチャートである。
解析を実行することにより、各音素候補に関する上記第【図５】 図１の重み係数学習部によって実行される重２の音響的特徴パラメータにおける寄与度を表わす各目
み係数学習処理の第１の部分のフローチャートである。
標音素毎の重み係数ベクトルを決定する。従って、韻律【図６】 図１の重み係数学習部によって実行される重制御規則を使わず、信号処理を実行することなく、任意
み係数学習処理の第２の部分のフローチャートである。
の音素列を発声音声に変換することができ、しかもより 10 【図７】 図１の音声単位選択部によって実行される音
自然に近い声質を得ることができる。
声単位選択処理のフローチャートである。
【００６９】またさらに、請求項５記載の音声合成装置【符号の説明】
においては、請求項１乃至４のうちの１つに記載の音声
１０…音声分析部、合成装置において、上記音声単位選択手段は、好ましく
１１…重み係数学習部、は、上記目標コストと上記連結コストとを含むコストが
１２…音声単位選択部、最良の上位複数Ｎ２個の音素候補を抽出した後、コスト
１３…音声合成部、が最小となる音素候補の組み合わせを検索する。従っ１４…スピーカ、て、韻律制御規則を使わず、信号処理を実行することな
２１…音声波形信号データベースメモリ、く、任意の音素列を発声音声に変換することができ、し２２…テキストデータベースメモリ、かもより自然に近い声質を得ることができる。
20 ２３…音素ＨＭＭメモリ、【図面の簡単な説明】
３０…特徴パラメータメモリ、【図１】 本発明に係る一実施形態である自然発話音声
３１…重み係数ベクトル。
波形信号接続型音声合成装置のブロック図である。
＊
【図１】

(13)

【図２】

【図３】

【図６】

特許３０５０８３２

【図４】

(14)

【図５】

特許３０５０８３２【図７】─────────────────────────────────────────────────────
フロントページの続き(56)参考文献

特開 昭64−78300（ＪＰ，Ａ)
特開 平７−319497（ＪＰ，Ａ)
特開 平７−92997（ＪＰ，Ａ)
特開 平８−87297（ＪＰ，Ａ)
特開 平６−266390（ＪＰ，Ａ)
ＣＡＭＰＢＥＬＬ Ｎ，ｅｔ ａｌ.
「ＣＨＡＴＲ：自然音声波形接続型任意
音声合成システム」、信学技報ＳＰ96−
７，Ｖｏｌ．96，Ｎｏ．39，ｐｐ．45−
52（1996)7(58)調査した分野(Int.Cl. ，ＤＢ名)
G10L 11/00 ‑ 21/06
ＪＩＣＳＴファイル（ＪＯＩＳ)