1(57)【特許請求の範囲】【請求項１】 音素ラベルに対応した音声波形信号の音
声セグメントのデータからなる音声波形データベースを記憶する記憶装置を備え、上記自然発話の音声波形信号の音声セグメントを連結することにより任意の音素列を音声合成する音声合成装置のための音声データ量削減装置であって、
上記音声波形データベースに含まれる１対の音素のリストを生成する生成手段と、上記生成された１対の音素のリストに基づいて各１対の 10
音素に対する韻律的特徴パラメータと音響的特徴パラメータとに関する所定の類似度を計算し、上記計算された類似度が所定の第１のしきい値以上であるとき、当該各１対の音素のうちの一方の１対の音素に係る音声波形信号の音声セグメントのデータを上記音声波形データベー

2
スから削除することにより音声データ量を削減するとともに、上記計算された類似度が所定の第１のしきい値以上であり、かつ上記１対の音素のリスト中の同一の１対の音素の数が所定の第２のしきい値以上であるときに、当該各１対の音素のうちの一方の１対の音素に係る音声波形信号の音声セグメントのデータを上記音声波形デー
タベースから削除する削減手段とを備えたことを特徴とする音声合成装置のための音声データ量削減装置。
【請求項２】 上記類似度は、それぞれ所定の重み係数で重み付けされた、上記韻律的特徴パラメータに関する類似度のスコアと、上記音響特徴パラメータに関する類
似度のスコアとの線形結合の式を用いて計算されることを特徴とする請求項１記載の音声合成装置のための音声
データ量削減装置。
【請求項３】 上記韻律的特徴パラメータは、音素時間

(2)3長と、音声基本周波数Ｆ0 と、経過時間に対する音声基
本周波数Ｆ0 の傾きと、パワーとを含むことを特徴とす
る請求項１又は２記載の音声合成装置のための音声デー
タ量削減装置。
【請求項４】 上記音響的特徴パラメータは、スペクト
ラム情報を含むことを特徴とする請求項１乃至３のうちの１つに記載の音声合成装置のための音声データ量削減装置。
【請求項５】 請求項１乃至４のうちの１つに記載の音
声合成装置のための音声データ量削減装置によって音声データ量が削減された音声波形データベースに基づいて、入力された自然発話文の音素列に対して、音素候補
を上記音声波形データベースから検索して連結すること
により音声合成を行なう音声合成手段を備えたことを特徴とする音声合成装置。
【請求項６】 請求項１乃至４のうちの１つに記載の音
声合成装置のための音声データ量削減装置によって音声データ量が削減された音声波形データベースに基づいて、入力された自然発話文の音素列に対して、目標音素と音素候補との間の近似コストと、時間的に隣接して連結されるべき音素候補間の近似コストとを含むコストが最小となるように、音素候補を上記音声波形データベー
スから検索して連結することにより音声合成を行なう音
声合成手段を備えたことを特徴とする音声合成装置。
【発明の詳細な説明】【０００１】【発明の属する技術分野】本発明は、音素ラベルに対応した音声波形信号の音声セグメントのデータからなる音
声波形データベースを用いて、自然発話の音声波形信号の音声セグメントを連結することにより任意の音素列を音声合成する音声合成装置のための音声データ量削減装置及び音声合成装置に関する。
【０００２】【従来の技術】例えば、特開平１０−０４９１９３号公報において、音素ラベルに対応した音声波形信号の音声
セグメントのデータからなる音声波形データベースを用
いて、自然発話の音声波形信号の音声セグメントを連結することにより任意の音素列を音声合成する音声合成装置が開示されている。
【０００３】【発明が解決しようとする課題】この従来例の音声合成装置においては、最小限の信号処理を用いて単純に音声波形の連結を行うために、適切な音響的パラメータと韻律的パラメータとを有する音声セグメントを選択するため、大規模な音声波形データベースを必要とする。この大規模な音声波形データベースでは、当該データベースを記憶するメモリの容量が大きくなり、また、それに伴って探索空間が大きくなるために、適切な音声セグメン
トを探索するときの探索速度を高めることができないという問題点があった。

10

20

30

40

50

特許３４５９６００4【０００４】本発明の目的は以上の問題点を解決し、音声波形データベースを格納するメモリ容量を削減することができ、音声合成時の探索速度を高めることができる
音声合成装置のための音声データ量削減装置及び音声合成装置を提供することにある。
【０００５】【課題を解決するための手段】本発明に係る音声合成装
置のための音声データ量削減装置は、音素ラベルに対応した音声波形信号の音声セグメントのデータからなる音
声波形データベースを記憶する記憶装置を備え、上記自然発話の音声波形信号の音声セグメントを連結すること
により任意の音素列を音声合成する音声合成装置のための音声データ量削減装置であって、上記音声波形データ
ベースに含まれる１対の音素のリストを生成する生成手
段と、上記生成された１対の音素のリストに基づいて各１対の音素に対する韻律的特徴パラメータと音響的特徴
パラメータとに関する所定の類似度を計算し、上記計算された類似度が所定の第１のしきい値以上であるとき、当該各１対の音素のうちの一方の１対の音素に係る音声波形信号の音声セグメントのデータを上記音声波形デー
タベースから削除することにより音声データ量を削減するとともに、上記計算された類似度が所定の第１のしきい値以上であり、かつ上記１対の音素のリスト中の同一の１対の音素の数が所定の第２のしきい値以上であるときに、当該各１対の音素のうちの一方の１対の音素に係る音声波形信号の音声セグメントのデータを上記音声波
形データベースから削除する削減手段とを備えたことを特徴とする。
【０００６】【０００７】また、上記音声データ量削減装置において、上記類似度は、好ましくは、それぞれ所定の重み係数で重み付けされた、上記韻律的特徴パラメータに関する類似度のスコアと、上記音響特徴パラメータに関する類似度のスコアとの線形結合の式を用いて計算されることを特徴とする。
【０００８】さらに、上記音声データ量削減装置において、上記韻律的特徴パラメータは、好ましくは、音素時
間長と、音声基本周波数Ｆ0 と、経過時間に対する音声
基本周波数Ｆ0 の傾きと、パワーとを含み、上記音響的特徴パラメータは、スペクトラム情報を含む。
【０００９】本発明に係る音声合成装置は、上記音声データ量削減装置によって音声データ量が削減された音声
波形データベースに基づいて、入力された自然発話文の音素列に対して、音素候補を上記音声波形データベース
から検索して連結することにより音声合成を行なう音声
合成手段を備えたことを特徴とする。
【００１０】また、本発明に係る音声合成装置は、上記
音声データ量削減装置によって音声データ量が削減された音声波形データベースに基づいて、入力された自然発
話文の音素列に対して、目標音素と音素候補との間の近(3)特許３４５９６００

56
似コストと、時間的に隣接して連結されるべき音素候補＊ ため、より高次の情報は無視される。もし音声がガウス
間の近似コストとを含むコストが最小となるように、音分布を示すならば、２次のデータのみで完全に音声を復素候補を上記音声波形データベースから検索して連結す元合成することができる。しかしながら、実際は音声がることにより音声合成を行なう音声合成手段を備えたこ
ガウス分布ではない。以上の２つの理由により、本発明とを特徴とする。
者は音声セグメントの類似度を測定するための音響特徴【００１１】
パラメータの尺度として、バイスペクトルを使用して音【発明の実施の形態】以下、図面を参照して本発明に係声合成を評価する。
る実施形態について説明する。
【００１５】ここで、本実施形態において用いるバイス【００１２】図１は、本発明に係る一実施形態である音
ペクトラム（bispectrum）について、従来技術文献１
声データ量削減処理装置のブロック図である。この実施 10 「C. L. Nikias et al., "Bispectrum Estimation: A D
形態の音声データ量削減装置は、図２の音声合成装置に
igitalSignal Processing Framework", Proceedings of
提供する音素ラベルデータにてなるテキストデータベー
the IEEE 76, pp.869‑891,1987」を参照して説明す
スと音声波形データベース内の音声データ量を削減するる。この実施形態において、実離散処理を仮定しておために、図３の音声データ量削減処理を用いて、各バイ
り、｛Ｘ（ｋ）｝を実離散ゼロ平均定常処理とすると、
フォン（biphone；時間的に隣接する１対の音素をいパワースペクトラムＰ（ω）は次式で定義される。
う。）に対する評価韻律データとバイスペクトラム（詳【００１６】
細後述）とのデータを含む評価データ行列に基づいて、【数１】
テキストデータベースと音声波形データベース内で所定の類似度以上の音声データを削除することにより音声データ量の削減を行う音声データ量削減処理部４５を備え 20 ここで、たことを特徴とする。
【数２】ｒ（τ）＝Ｅ｛Ｘ（ｋ）Ｘ（ｋ＋τ）｝【００１３】すなわち、本実施形態においては、韻律的はその自己相関シーケンスである。もしＲ（ｍ，ｎ）が特徴パラメータの領域及びスペクトル領域の両方におけ｛Ｘ（ｋ）｝の３次のモーメントのシーケンスを示すなる近似性の物理的尺度を使用して、出力される音声合成
らば、すなわち、された音声の品質を維持しながら音声波形データベース【数３】Ｒ（ｍ，ｎ）＝Ｅ｛Ｘ（ｋ）Ｘ（ｋ＋ｍ）Ｘにおける音声セグメントの数を減らして音声波形データ（ｋ＋ｎ）｝
ベースにおける冗長さを小さくする方法について開示すであるとき、そのバイスペクトラムは次式で定義される。
る。
【００１４】本実施形態では、上記物理的尺度の音響的【００１７】
特徴パラメータとして、バイスペクトラムを用いる。パ 30 【数４】ワースペクトルは２次のデータによってのみ決定される＊【００１８】ここで、Ｒ（ｍ，ｎ）は上述の３次の自己相関関数であり、３次のモーメントと累積係数（累積率ともいう。）が同一であるので、バイスペクトラムは３次の累積係数のスペクトラムとなる。パワースペクトラ
ムとバイスペクトラムの物理的な重要性は、次式のＸ（ｋ）のフーリエ・スティルチェスの表現式（クラメルのスペクトル表現式ともいう。）の成分ｄＺ（ω）の項 40
を用いて表わすときに明らかになる。
【００１９】すべてのｋに対して、【数５】

であり、ここで、【数６】Ｅ｛ｄＺ（ω）｝＝０*【数７】Ｅ｛ｄＺ（ω1 ）ｄＺ （ω2 ）｝＝０，ω1 ≠ω2 のとき＝２πＰ（ω）ｄω，ω1 ＝ω2 ＝ωのとき

50

並びに、
*
【数８】Ｅ｛ｄＺ（ω1 ）ｄＺ（ω2 ）ｄＺ （ω3 ）｝＝Ｂ（ω1 ，ω2 ）ｄω1 ｄω2 ，ω1 ＋ω2 ＝ω3＝０，ω1 ＋ω2 ≠ω3である。
【００２０】従って、パワースペクトラムＰ（ω）は周波数が同一である２つのフーリエ成分の平均値の積に寄与することを表わす一方、バイスペクトラムＢ（ω1 ，
ω2 ）は、１つの周波数が他の２つの周波数の和に等しいときの３つのフリーエ成分の平均値の積に寄与することを表わす。すなわち、バイスペクトラムは、２つのス
ペクトラム列に対する寄与度又は類似度を表わす。
【００２１】本実施形態では、２次元のフーリエ変換を使用してバイスペクトルを計算する。バイスペクトルの次元は一般に高いため、２次元のＤＣＴを使用してバイスペクトルをより低次の係数に圧縮して計算する。なお、本実施形態においては、音響特徴パラメータとして

(4)

特許３４５９６００

7
8
バイスペクトラムを用いているが、本発明はこれに限ら＊ としてのカバー範囲は実質的に変化しないといえる。本ず、スペクトラム情報を用いてもよい。
実施形態においては、韻律的特徴パラメータの類似度を【００２２】本実施形態では、上記物理的尺度の韻律的測定するため、音素サイズの各音声セグメントの上述の特徴パラメータとして、各音声セグメントの持続時間
韻律的特徴パラメータを用いる。
（又は音素時間長）、最大信号振幅（又はパワー）、平【００２３】そして、本実施形態においては、各１対の均基本周波数（又はピッチ周波数）Ｆ0 及び基本周波数
バイフォンに対して、以下に示す類似度のスコアＭを計
Ｆ0 の傾き（又は傾斜）を用いる。１対の音声セグメン
算して所定のしきい値Ｍｔｈ以下のときに、１対のバイト間の音声距離を決定するにはスペクトル領域におけるフォンは互いに類似していると判断し、かつこのバイフ
物理的尺度が必要であるが、音声波形データベースの多ォンの数Ｎを予め決められたしきい値Ｎｔｈ未満となら様性を維持しようとする場合には、１対の音声セグメン 10 ないように、すなわち当該しきい値Ｎｔｈ以上であれば
ト間の韻律的特徴パラメータの距離を決定することも必
削除しても複製可能であり、それは冗長であると判断し要である。スペクトル特性及び韻律的特性の両方で所定て、当該バイフォンの音素に関するデータをテキストデのしきい値内で類似する（又は重複する）音声セグメン
ータベースメモリ２２及び音声波形データベースメモリ
トは音声波形データベースから除去することが可能であ２１から削除することにより、音声データ量の削減を行る。言い換えれば、音声波形データベースのある部分をう。
削除しても、残った部分から削除前と実質的に同一の音【００２４】１対のバイフォンに対する類似度のスコア
声波形を合成できるならば、その部分を削除してもかまＭは次式で表わされる。
わないという技術的思想に基づいている。これにより音【００２５】
声波形データベースの量は減少するが、音声波形データ＊【数９】【００２６】ここで、（ａ）ｗ1 ：韻律的特徴パラメータのスコアに対する重み係数であり、例えば０．５である。
（ｂ）ｗ11 ：基本周波数Ｆ0 のスコアに対する重み係数であり、例えば０．３である。
（ｃ）ＳF0 ：１対のバイフォンに対する基本周波数Ｆ0の差の絶対値である。
（ｄ）ｗ12 ：パワーのスコアに対する重み係数であり、 30
例えば０．２である。
（ｅ）ＳP ：１対のバイフォンに対するパワーの差の絶対値である。
（ｆ）ｗ13 ：音素時間長のスコアに対する重み係数であり、例えば０．１である。
（ｇ）ＳD ：１対のバイフォンに対する音素時間長の比の値（又は比率）である。
（ｈ）ｗ14 ：基本周波数Ｆ0 の傾きのスコアに対する重み係数であり、例えば０．３である。
（ｉ）ＳFI ：１対のバイフォンに対する基本周波数Ｆ040の傾きに係るスコアであり、２つのバイフォンの音声波
形の変化パターンの組み合せから求める。
＜１＞まず、基本周波数Ｆ0 の変化を上昇、水平（実質的に変化せずを意味する。）、下降の３つのパターンに分類する。
＜２−１＞音声波形Ａと音声波形Ｂのパターンが同じならば、スコア＝０とする。
＜２−２＞音声波形Ａと音声波形Ｂのパターンが次の表に該当するときは、スコア＝１とする。
【表１】50―――――――――――
波形Ａ
波形Ｂ―――――――――――
上昇
水平
水平
上昇
水平
下降
下降
水平
―――――――――――＜２−２＞音声波形Ａと音声波形Ｂのパターンが次の表に該当するときは、スコア＝１とする。
【表２】―――――――――――
波形Ａ
波形Ｂ―――――――――――
上昇
下降
下降
上昇
―――――――――――（ｊ）ｗ2 ：バイスペクトラムに対する重み係数であり、例えば，０．８である。
（ｋ）ＳBS ：１対のバイフォンのスペクトラム列のベク
トルの距離、すなわち、各スペクトラム要素の２乗和の平方根である。
【００２７】上記数９から明らかなように、類似度のス
コアＭが０に近いほど、類似度の度合いが高いといえる。
【００２８】次いで、図１を参照して音声データ量削減
処理装置の構成及び動作について説明する。図１において、テキストデータベースメモリ２２は、自然発話の書

(5)9き下し文の音素ラベルデータにてなるテキストデータベ
ースを記憶し、音声波形データベースメモリ２１は、上記テキストデータベースにおける自然発話の書き下し文の音素ラベルデータに対応する音声波形信号の音声セグメントからなる音声波形データベースを記憶する。基本
韻律データ生成部４０は、これら２つのメモリ２１，２２内のデータに基づいて、各音素ラベルに対応して、例
えばＬＰＣ分析法を用いて基本周波数Ｆ0 を検出するとともに、所定の音声波形分析を行うことによりパワーを検出することにより、基本韻律データとして生成して基
本韻律データメモリ５０に格納する。
【００２９】次いで、評価韻律データ生成部４１は、テキストデータベースメモリ２２内の音素ラベルデータと、基本韻律データメモリ５０内の基本韻律データとに基づいて、基本周波数Ｆ0 とパワーに加えて、基本周波数Ｆ0 の時間方向の傾きと、音素時間長を計算してこれ
ら４つのデータを評価韻律データとして評価韻律データ
メモリ５１に格納する。また、バイフォンリスト生成部
４２は、テキストデータベースメモリ２２内の音素ラベ
ルデータに基づいて、時間方向に隣接する２つの音素並びであるバイフォンを計数して、そのバイフォンと計数
値をバイフォンリストメモリ５２に格納する。さらに、バイスペクトラムデータ生成部４３は、テキストデータ
ベースメモリ２２内の音素ラベルデータと音声波形デー
タベースメモリ２１内の音声波形データベースとに基づいて、上述のバイスペクトラムデータ、すなわち、１対のバイフォンのスペクトラム列のベクトルの距離、すな
わち、各スペクトラム要素の２乗和の平方根を計算してバイスペクトラムデータメモリ５３に格納する。
【００３０】さらに、評価データ行列生成部４４は、評価韻律データメモリ５１内の評価韻律データと、バイフォンリストメモリ５２内のバイフォンと、バイスペクト
ラムデータメモリ５３内のバイスペクトラムデータとに基づいて、テキストデータベース内の各バイフォンの列に対して、上述の４つの評価韻律データと１つのバイス
ペクトラムデータを行方向並置することにより、評価データ行列を生成して評価データ行列メモリ５４に格納する。そして、音声データ量削減処理部４５は、評価デー
タ行列メモリ５４内の評価データ行列と、バイフォンリ
ストメモリ５２内のバイフォンに基づいて、図３の音声
データ量削減処理を実行することにより、テキストデー
タベースメモリ２２内のテキストデータと音声波形デー
タベースメモリ２１内の音声波形データベースの音声データ量を削減して、削減後のデータをテキストデータベ
ースメモリ２２ａと音声波形データベースメモリ２１ａにコピーする。そして、図２の音声合成装置は、音声データ量が削減された後のテキストデータベースメモリ２
２ａ及び音声波形データベースメモリ２１ａ内のデータを用いて音声合成処理を行う。
【００３１】図３は、図１のデータ量削減処理部によっ

10

20

30

40

50

特許３４５９６００
10て実行されるデータ量削減処理を示すフローチャートである。図３において、まず、ステップＳ１においてバイフォンリストメモリ５２内のバイフォンリストから同一の１対のバイフォンを検索し、ステップＳ２において存在するか否かが判断され、ＹＥＳのときはステップＳ３に進む一方、ＮＯのときはステップＳ９に進む。ステッ
プＳ３では、検索した１対バイフォンに対する評価韻律
データとバイスペクトラムデータに基づいて，上記数９を用いて類似度のスコアＭを計算する。
【００３２】そして、ステップＳ４において１対のバイフォンが類似しているか否かが判断され、具体的にはＭ≦Ｍｔｈであるか否かが判断され、ＹＥＳのときは類似していると判断してステップＳ５に進む一方、ＮＯのときは類似していないと判断してステップＳ８に進む。ここで、Ｍｔｈは予め決められたしきい値であり、例えば０．１である。次いで、ステップＳ５においてバイフォ
ンリストメモリ５２内のバイフォンリストから同一のバ
イフォンの件数Ｎを計算し、ステップＳ６においてＮ≧
Ｎｔｈか否かが判断され、ＹＥＳのときはステップＳ７に進む一方、ＮＯのときはステップＳ８に進む。ここ
で、Ｎｔｈは予め決められたしきい値であり、例えば５０であり、これは元のテキストデータベースのバイフォンの数にも依存する。ステップＳ６の判断では、音声波
形データベースにおいて所定数の同一のバイフォンに対する音声波形データを確保して、音声合成後の音声の品質を所定以上に確保するために設けられる。さらに、ステップＳ７において当該１対のバイフォンのうちの一方のバイフォンの音素をバイフォンリストから削除し、当該バイフォンの音素のラベルデータ及び音声波形データをそれぞれテキストデータベース及び音声波形データベースから削除して、ステップＳ８に進む。ステップＳ８では、バイフォンリストから別の組み合わせの１対のバイフォンを検索して、ステップＳ２に戻る。
【００３３】ステップＳ２においてＮＯであるときは、
ステップＳ９においてバイフォンリストから別の種類のバイフォンを検索し、ステップＳ１０において存在するか否かが判断され、ＹＥＳのときはステップＳ１に戻る
一方、ＮＯのときはステップＳ１０ａに進む。ステップ
Ｓ１０ａでは、音声データ量が削減された後のテキスト
データベースメモリ２２及び音声波形データベースメモ
リ２１内のデータをそれぞれ、テキストデータベースメ
モリ２２ａ及び音声波形データベースメモリ２１ａにコピーして当該音声データ量削減処理を終了する。
【００３４】以上の図３の実施形態において、ステップ
Ｓ４における判断とステップＳ６における判断がともにＹＥＳであるときに、当該バイフォンの音素のラベルデータと音声波形データとを削除しているが、本発明はこれに限らず、ステップＳ４における判断のみがＹＥＳであるときに、当該バイフォンの音素のラベルデータと音
声波形データとを削除してもよい。

(6)11【００３５】次いで、図１の音声データ量削減処理装置
で音声データ量が削減された、テキストデータベースメ
モリ２２ａ及び音声波形データベースメモリ２１ａ内のデータを用いて音声合成を行う音声合成装置について以下に説明する。
【００３６】図２は、本発明に係る一実施形態である自然発話音声波形信号接続型音声合成装置のブロック図である。本実施形態では、大きく分類すれば、次の４つの処理部に分類される。（１）音声波形信号データベース
メモリ２１ａ内の音声波形信号データベースの音声波形
信号データの音声分析、具体的には、音素記号系列の生成、音素のアラインメント、特徴パラメータの抽出を含む処理を実行する音声分析部１０。（２）最適重み係数を学習しながら決定する重み係数学習部１１。（３）入力される音素列に基づいて音声単位の選択を実行して入力音素列に対応する音声波形信号データの索引情報を出力する音声単位選択部１２。（４）音声単位選択部１２から出力される索引情報に基づいて音声波形信号データ
ベースメモリ２１ａ内の音声波形信号データベースをランダムにアクセスして最適とされた各音素候補の音声波
形信号を再生してスピーカ１４に出力する音声合成部１３。
【００３７】具体的には、音声分析部１０は、入力される自然発話の音声波形信号の音声セグメントと、上記音声波形信号に対応する音素列とに基づいて、音素ＨＭＭ
メモリ２３を参照して、上記音声波形信号における音素毎の索引情報と、上記索引情報によって示された音素毎の第１の音響的特徴パラメータと、上記索引情報によって示された音素毎の第１の韻律的特徴パラメータとを抽出して出力する。特徴パラメータメモリ３０は、上記音
声分析部１０から出力される索引情報と、上記第１の音響的特徴パラメータと、上記第１の韻律的特徴パラメー
タとを記憶する。次いで、重み係数学習部１１は、特徴パラメータメモリ３０に記憶された第１の音響的特徴パラメータと韻律的特徴パラメータとに基づいて、同一の音素種類の１つの目標音素とそれ以外の音素候補との間の第２の音響的特徴パラメータにおける音響的距離を計算し、上記計算した音響的距離に基づいて各音素候補に対して上記第２の音響的特徴パラメータ毎に所定の統計的解析を実行することにより、各音素候補に対する上記
第２の音響的特徴パラメータにおける寄与度を表わす各
目標音素毎の重み係数ベクトルを決定する。重み係数ベ
クトルメモリ３１は、重み係数学習部１１によって決定された上記第２の音響的特徴パラメータにおける各目標
音素毎の重み係数ベクトルと、予め与えられた、各音素候補に関する第２の韻律的特徴パラメータにおける寄与度を表わす各目標音素毎の重み係数ベクトルとを記憶する。さらに、音声単位選択部１２は、重み係数ベクトル
メモリ３１に記憶された各目標音素毎の重み係数ベクトルと、特徴パラメータメモリ３０に記憶された第１の韻

10

20

30

40

50

特許３４５９６００
12
律的特徴パラメータとに基づいて、入力される自然発話
文の音素列に対して、目標音素と音素候補との間の近似コストを表わす目標コストと、隣接して連結されるべき２つの音素候補間の近似コストを表わす連結コストとを含むコストが最小となる、音素候補の組み合わせを検索して、検索した音素候補の組み合わせの索引情報を出力する。そして、音声合成部１３は、音声単位選択部１２から出力される索引情報に基づいて、当該索引情報に対応する音声波形信号の音声セグメントを音声波形信号データベースメモリ２１ａから逐次読み出して連結してス
ピーカ１４に出力することにより、音声合成装置は、上記入力された音素列に対応する音声を合成して出力する。
【００３８】ここで、音声分析部１０の処理は新しい音
声波形信号データベースに対しては必ず一度行なう必要があり、重み係数学習部１１の処理は、一般に一度の処理でよく、重み係数学習部１１によって求めた最適重み係数は異なる音声合成条件に対しても再利用が可能である。さらに、音声単位選択部１２と音声合成部１３の処理は、音声合成すべき入力音素列が変われば、その都度実行される。
【００３９】本実施形態の音声合成装置は与えられたレ
ベルの入力に基づいて必要とする、すべての特徴パラメータを予測し、所望の音声の特徴に最も近いサンプル（すなわち、音素候補の音声波形信号）を音声波形デー
タベースメモリ２１ａ内の音声波形信号データベースの中から選び出す。最低限、音素ラベルの系列が与えられれば処理は可能であるが、音声基本周波数Ｆ0 や音素時間長が予め与えられていれば、さらに高品質の合成音声が得られる。なお、入力として単語の情報だけが与えられた場合には、例えば音素隠れマルコフモデルメモリ２３に格納された音素隠れマルコフモデル（以下、隠れマ
ルコフモデルをＨＭＭという。）などの辞書や規則に基づいて音素系列を予測する必要がある。また、韻律特徴が与えられなかった場合には音声波形信号データベース
中のいろいろな環境における音素の既知の特徴を基に標準的な韻律を生成する。
【００４０】本実施形態では、音声波形信号データベー
スメモリ２１ａ内の録音内容を少なくとも正書法で記述されたテキストデータが例えば、テキストデータベース
メモリ２２ａ内のテキストデータベースのように存在す
るならば、あらゆる音声波形信号データベースが合成用の音声波形信号データとして利用可能であるが、出力音
声の品質は録音状態、音声波形信号データベース中の音
素のバランス等に大きく影響を受け、音声波形データベ
ースメモリ２１ａ内の音声波形信号データベースが豊富な内容であれば、より多様な音声が合成でき、反対に音
声波形信号データベースが貧弱であれば、合成音声は不連続感が強く、ブツブツしたものになる。
【００４１】次いで、自然な発話音声に対する音素ラベ

(7)特許３４５９６００

13
14
ル付けについて説明する。音声単位の選択の善し悪しは＊ で、第２段階においては、韻律的及び音響的特徴を計測
音声波形信号データベース中の音素のラベル付けと検索するために各音素の開始及び終了時点を決めるために、の方法に依存する。ここで、好ましい実施例において各音素記号を音声波形信号に対応付ける処理である（以は、音声単位は、音素である。まず、録音された音声に下、当該処理を、音素のアラインメント処理とい付与された正書法の発話内容を音素系列に変換し、さらう。）。さらに、第３段階においては、各音素の特徴ベに音声波形信号に割り当てる。韻律的特徴パラメータのクトル又は特徴パラメータを生成することである。この抽出はこれに基づいて行なわれる。音声分析部１０の入特徴ベクトルには、必須項目として音素ラベル、メモリ
力はテキストデータベースメモリ２２ａ内の音素表記を３０内の音声波形信号データベース中の各ファイルにお伴った音声波形データベースメモリ２１ａ内の音声波形
ける当該音素の開始時刻（開始位置）、音声基本周波数
信号データであり、出力は特徴ベクトル又は特徴パラメ 10 Ｆ0 、音素時間長、パワーの情報が記憶され、さらに、ータである。この特徴ベクトルは音声波形信号データベ
特徴パラメータのオプションとしてストレス、アクセン
ース中で音声サンプルを表す基本単位となり、最適な音
ト型、韻律境界に対する位置、スペクトル傾斜等の情報
声単位の選択に用いられる。
が記憶される。以上の特徴パラメータを整理すると、例【００４２】音声分析部１０の処理における第１段階にえば、次の表のようになる。
おいては、正書法で書かれた発話内容が実際の音声波形【００４３】
信号データでどのように発音されているかを記述するた【表３】
めの正書法テキストから音素記号への変換である。次い＊―――――――――――――――――――――――――――――――――――
索引情報：
索引番号（１つのファイルに対して付与）
メモリ３０内の音声波形信号データベース中の各ファイルにおける当該音素の開始時刻（開始位置）―――――――――――――――――――――――――――――――――――
第１の音響的特徴パラメータ：
１２次メルケプストラム係数
１２次Δメルケプストラム係数
音素ラベル
弁別素性：
母音性（vocalic）（＋）／非母音性（non‑vocalic）（−）
子音性（consonantal）（＋）／非子音性（non‑consonantal）（−）
中断性（interrupted）（＋）／連続性（continuant）（−）
抑止性（checked）（＋）／非抑止性（unchecked）（−）
粗擦性（strident）（＋）／円熟性（mellow）（−）
有声（voiced）（＋）／無声（unvoiced）（−）
集約性（compact）（＋）／拡散性（diffuse）（−）
低音調性（grave）（＋）／高音調性（acute）（−）
変音調性（flat）（＋）／常音調性（plain）（−）
嬰音調性（sharp）（＋）／常音調性（plain）（−）
緊張性（tense）（＋）／弛緩性（lax）（−）
鼻音性（nasal）（＋）／口音性（oral）（−）―――――――――――――――――――――――――――――――――――
第１の韻律的特徴パラメータ：
音素時間長
音声基本周波数Ｆ0
パワー―――――――――――――――――――――――――――――――――――【００４４】とって代わって、第１の音響的特徴パラメ
１の韻律的特徴パラメータは、各音素毎に特徴パラメー
ータは、好ましくは、フォルマントパラメータと、声道
タメモリ３０に記憶される。ここで、音素ラベルに付与
音源パラメータであってもよい。上記索引情報内の開始される、例えば１２個の弁別素性の特徴パラメータは各
時刻（開始位置）、第１の音響的特徴パラメータ及び第 50 項目別に（＋）又は（−）のパラメータ値が与えられ(8)15る。さらに、音声分析部１０の出力結果である特徴パラ
メータの一例を次の表に示す。ここで、索引番号は、音声波形信号データベースメモリ２１ａにおいて、例えば複数の文からなる１つのパラグラフ又は１つの文のファ
イル毎に、索引番号が付与され、そして、１つの索引番号が付与されたファイル中の任意の音素の位置を示すために当該ファイル内の開始時刻から計時された当該音素の開始時刻及びその当該音素の音素時間長とを付与する
ことにより、当該音素の音声波形信号の音声セグメントを特定することができる。
【００４５】【表４】音声分析部１０の出力結果である特徴パラメー
タの一例
索引番号Ｘ０００５―――――――――――――――――――――――
音素 時間長 基本周波数 パワー ………
―――――――――――――――――――――――＃
１２０
９０
４．０ ………
ｓ
１７５
９８
４．７ ………
ｅｉ
９５
１０２
６．５ ………
ｄｈ３０
１１４
４．９ ………
ｉｈ
７５
１４３
６．９ ………
ｓ
１５０
１４０
５．７ ………
ｐ
８７
１３７
５．１ ………
ｌ３４
１０７
４．９ ………
ｉｉ １５０
９８
６．３ ………
ｚ
１４０
８７
５．８ ………
＃
２５３
８７
４．０ ………
―――――――――――――――――――――――【００４６】表４において、＃はポーズを示す。音声単
位を選択する場合に、音響的及び韻律的な各特徴パラメータがそれぞれの音素でどれだけの寄与をするかを予め調べておくことが必要であり、第４段階では、このために音声波形信号データベース中のすべての音声サンプル
を用いて各特徴パラメータの重み係数を決定する。
【００４７】音声分析部１０における音素記号系列の生成処理においては、上述した通り、本実施形態では、少なくとも録音内容が正書法で記述されたものがあれば、あらゆる音声波形信号データベースが合成用の音声波形
信号データとして利用可能である。入力として単語の情報だけが与えられた場合には辞書や規則に基づいて音素系列を予測する必要がある。また、音声分析部１０における音素のアラインメント処理においては、読み上げ音
声の場合、各単語がそれぞれの標準の発音に近く発音されることが多く、躊躇したり、言い淀んだりすることもまれである。このような音声波形信号データの場合には簡単な辞書検索によって音素ラベリングが正しく行なわ
れ、音素アラインメント用の音素ＨＭＭの音素モデルの学習が可能となる。
【００４８】音素アラインメント用の音素モデルの学習

10

20

30

40

50

特許３４５９６００
16
では完全な音声認識の場合と異なり、学習用の音声波形
信号データとテスト用の音声波形信号データとを完全に分離する必要はなく、すべての音声波形信号データを用
いて学習を行なうことができる。まず、別の話者用のモデルを初期モデルとし、すべての単語について標準発音か限られた発音変化のみを許し、適切なセグメンテーシ
ョンが行なわれるように、全音声波形信号データを用いてビタビの学習アルゴリズムを用いて音素のアライメン
トを行ない、特徴パラメータの再推定を行なう。単語間のポーズは単語間ポーズ生成規則によって処理するが、単語内にポーズがあってアライメントが失敗した場合には人手により修正する必要がある。
【００４９】どういう音素ラベルを音素表記として用いるかは選択が必要である。もし良く学習されたＨＭＭモデルが利用できるような音素セットが存在するなら、それを用いることが有利である。反対に、音声合成装置が完全な辞書を持っているなら、音声波形信号データベースのラベルを完全に辞書と照合する方法も有効である。
我々は、重み係数の学習に対して選択の余地があるから、後で音声合成装置が予測したものと等価なものを音
声波形信号データベースの中から照合できるかどうかを最も重要な基準とすればよい。発音の微妙な違いはその発音の韻律的環境によって自動的に把握されるため、特に手作業で音素のラベル付けを行なう必要はない。
【００５０】前処理の次の段階として、個々の音素の調音的な特徴を記述するための韻律特徴パラメータの抽出を行なう。従来の音声学では、調音位置や調音様式といった素性で言語音を分類した。これに対して、ファース（Ｆｉｒｔｈ）学派のような韻律を考慮した音声学では、韻律的文脈の違いから生ずる細かな音質の違いをとらえるために、明瞭に調音されている箇所や強調が置かれている箇所を区別する。これらの違いを記述する方法
はいろいろなものがあるが、ここでは以下の２つの方法を用いる。まず低次のレベルでは、１次元の特徴を求めるために、パワー、音素時間長の伸び及び音声基本周波数Ｆ0 を、ある音素について平均した値を用いる。一方、高次のレベルでは、韻律特徴における上記の違いを考慮した韻律境界や強調箇所をマークする方法を用いる。これらの２種類の特徴は相互に密接に関係しているため一方から他方を予測することができるが、両者は共に各音素の特徴に強い影響を与えている。
【００５１】音声波形信号データベースを記述するための音素セットの規定法に自由度があるのと同様に、韻律的特徴パラメータの記述方法についても自由度がある
が、これらの選び方は音声合成装置の予測能力に依存する。もし音声波形信号データベースが予めラベリングされているなら、音声合成装置の仕事は内部表現から音声波形信号データベース中の実音声をいかに行なうかを学習することである。これに対して、もし音声波形信号データベースが音素のラベル付けがなされていないなら、

(9)17どのような特徴パラメータを使えば音声合成装置が最も適切な音声単位を予測できるか否か、から検討することが必要となる。この検討及び最適な特徴パラメータの重みの決定学習は、各特徴パラメータに対する重み係数を学習しながら決定する重み係数学習部１１において実行される。
【００５２】次いで、重み係数学習部１１によって実行される重み係数学習処理について述べる。与えられた目
標音声の音響的及び韻律的な環境に最適なサンプルを音
声波形信号データベースから選択するために、まずどの特徴がどれだけ寄与しているかを音素的及び韻律的な環境の違いによって決める必要がある。これは音素の性質
によって重要な特徴パラメータの種類が変化するため
で、例えば、音声基本周波数Ｆ0 は有声音の選択には極めて有効であるが、無声音の選択にはほとんど影響がない。また、摩擦音の音響的特徴は前後の音素の種類によって影響が変わる。最適な音素を選択するためにそれぞれの特徴にどれだけの重みを置くかを最適重み決定処
理、すなわち重み係数学習処理で自動的に決定する。
【００５３】重み係数学習部１１によって実行される最適重み係数の決定処理で、最初に行なわれることは音声
波形信号データベース中で該当するすべての発話サンプ
ルの中から最適なサンプルを選ぶときに使われる特徴をリストアップすることである。ここでは、調音位置や調音様式等の音素的特徴と先行音素、当該音素、及び後続音素の音声基本周波数Ｆ0 、音素時間長、パワー等の韻律的特徴パラメータ等を用いる。具体的には、詳細後述
する第２の韻律的特徴パラメータを用いる。次いで、第２段階では各音素毎に、最適な候補を選ぶ際にどの特徴パラメータがどれだけ重要かを決定するために、１つの音声サンプル（又は音素の音声波形信号）に着目し、他のすべての音素サンプルとの音素時間長の差をも含む音
響的距離を求め、上位Ｎ２個の最良の類似音声サンプ
ル、すなわちＮ２ベストの音素候補の音声波形信号の音
声セグメントを選び出す。
【００５４】さらに、第３段階では線形回帰分析を行ない、それらの類似音声サンプルを用いて種々の音響的及
び韻律的環境におけるそれぞれの特徴パラメータの重要度を示す重み係数を求める。当該線形回帰分析処理における韻律的特徴パラメータとして、例えば、次の特徴パラメータ（以下、第２の韻律的特徴パラメータという。）を用いる。
（１）処理すべき当該音素から１つだけ先行する先行音
素（以下、先行音素という。）の第１の韻律的特徴パラ
メータ；（２）処理すべき当該音素から１つだけ後続する後続音
素（以下、後続音素という。）の音素ラベルの第１の韻律的特徴パラメータ；（３）当該音素の音素時間長；（４）当該音素の音声基本周波数Ｆ0 ；

10

20

30

40

50

特許３４５９６００
18（５）先行音素の音声基本周波数Ｆ0 ；及び、
（６）後続音素の音声基本周波数Ｆ0 。
ここで、先行音素は、当該音素から１つだけ先行する音素としているが、これに限らず、複数の音素だけ先行する音素を含んでもよい。また、後続音素は、当該音素から１つだけ後続する音素としているが、これに限らず、複数の音素だけ後続する音素を含んでもよい。さらに、後続音素の音声基本周波数Ｆ0 を除外してもよい。以上の実施形態においては、線形回帰分析を行って、重み係数を求めているが、本発明はこれに限らず、例えば、所定のニューラルネットワークを用いた統計的解析などの種々の統計的解析を用いて、重み係数を求めてもよい。
【００５５】次いで、自然な音声サンプルの選択を行う
音声単位選択部１２の処理について説明する。従来例の音声合成装置では目的の発話に対して音素系列を決定し、さらに韻律制御のためのＦ0 と音素時間長の目標値が計算された。これに対して、本実施形態では最適の音
声サンプルを選択するために韻律が計算されるだけで、直接韻律を制御することは行なわれない。
【００５６】図４にはこの音声合成装置における図２の音声単位選択部１２の処理を示す。この処理の入力は、
目的発話の音素系列と、それぞれの音素毎に求めた各特徴に対する重みベクトル及び音声波形信号データベース
中の全サンプルを表す特徴ベクトルである。一方、出力は音声波形信号データベース中での音素サンプルの位置を表す索引情報であって、音声波形信号の音声セグメン
トを接続するためのそれぞれの音声単位（具体的には音素、場合により複数の音素の系列が連続して選択され、一つの音声単位となることがある）の開始位置と音声単位時間長を示したものである。
【００５７】最適な音声単位は目的発話との差の近似コストを表す目標コストと、隣接音声単位間での不連続性の近似コストを表す連結コストの和を最小化するパスとして求められる。経路探索には公知のビタビの学習アルn
ゴリズムが利用される。目的とする目標音声ｔ1 ＝（ｔ
1 ，…，ｔn ）に対しては、目標コストと連結コストの和を最小化することで、各特徴が目的音声に近く、しかも
音声単位間の不連続性が少ない音声波形信号データベーn
ス中の音声単位の組合せｕ1 ＝（ｕ1 ，…，ｕn ）を選ぶことができ、これらの音声単位の音声波形信号データベース内での位置を示すことにより、任意の発話内容の音声合成が可能になる。
【００５８】音声単位の選択コストは、図４に示すよう
tcに、目標コストＣ （ｕi ，ｔi ）と連結コストＣ （ｕti‑1 ，ｕi ）からなり、目標コストＣ （ｕi ，ｔi ）は、
音声波形信号データベース中の音声単位（音素候補）ｕi と、合成音声として実現したい音声単位（目標音素）cｔi の間の差の予測値であり、連結コストＣ （ｕi‑1 ，ｕi ）は接続単位（接続する２つの音素）ｕi‑1 とｕi との間の接続で起こる不連続の予測値である。例えば、本(10)特許３４５９６００1920c
出願人によって研究実用化された従来のＡＴＲν−Ｔａ＊ 与えられ、この場合、連結コストＣ （ｕi‑1 ，ｕi ）は
ｌｋ音声合成システムも目標コストと連結コストを最小次式で計算することができる。
化するという点では類似の考え方を取っていたが、韻律【００６３】
的な特徴パラメータを直接に単位選択に用いるというこ【数１１】とは本実施形態の音声合成装置の新しい特徴となっている。
【００５９】次いで、コストの計算について述べる。目
標コストは実現したい音声単位の特徴ベクトルと音声波
形信号データベース中から選ばれた候補の音声単位の特【００６４】もし、音素候補ｕi‑1 とｕi が音声波形信号
徴ベクトルの各要素の差の重み付き合計であり、各目標 10 データベース中の連続する音声単位であった場合には、
tt
サブコストＣ j （ｔi ，ｕi ）の重み係数ｗ j が与えられ接続は自然であり、連結コストは０になる。ここで、好t
た場合、目標コストＣ （ｔi ，ｕi ）は次式で計算する
ましい実施例においては、連結コストは、特徴パラメー
ことができる。
タメモリ３０内の第１の音響的特徴パラメータと第１の【００６０】
韻律的特徴パラメータに基づいて決定され、連続量であ【数１０】る上記３つの第３の音響的特徴パラメータを取り扱うか
ら例えば０から１までの任意のアナログ量をとる一方、目標コストは、それぞれの先行あるいは後続音素の弁別
素性が一致するか否かなどを示す上記３０個の第２の音響的特徴パラメータを取り扱うから、例えば０（特徴が【００６１】ここで、特徴ベクトルの各要素の差はｐ個 20 一致しているとき）又は１（特徴が一致していないと
tの目標サブコストＣ j （ｔi ，ｕi ）（ただし、ｊは１かき）のデジタル量で表される要素を含む。そして、Ｎ個らｐまでの自然数である。）で表され、特徴ベクトルのの音声単位の連結コストはそれぞれの音声単位の目標コ次元数ｐは、好ましい実施例においては、２０から３０
ストと連結コストの和となり、次式で表される。
の範囲で可変としている。より好ましい実施例において【００６５】tは、次元数ｐ＝３０であり、目標サブコストＣ （ｔi ，【数１２】tｕi ）及び重み係数ｗ j における変数ｊの特徴ベクトル
又は特徴パラメータは、上述の第２の韻律的特徴パラメータである。
c【００６２】一方、連結コストＣ （ｕi‑1 ，ｕi ）も同c様にｑ個の連結サブコストＣ j （ｕi ‑1 ，ｕi ）（ただ30
し、ｊは１からｑまでの自然数である。）の重み付き合c計で表される。連結サブコストは接続する音声単位ｕ【００６６】このとき、Ｓはポーズを表しており、Ｃci‑1 とｕi の音響的特徴から決定することができる。好ま（Ｓ，ｕ1 ）及びＣ （ｕn ，Ｓ）はポーズから最初の音
しい実施形態においては、連結サブコストとしては、声単位へ及び最後の音声単位からポーズへの接続におけ（１）音素接続点におけるケプストラム距離、（２）対る連結コストを表している。この表現からも明らかなよ
数パワーの差の絶対値、（３）音声基本周波数Ｆ0 の差
うに、本実施形態ではポーズも音声波形信号データベーの絶対値の３種類を用いており、すなわち、ｑ＝３であス中の他の音素とまったく同じ扱い方をしている。さらる。これら３種類の音響的特徴パラメータと、先行音素に上の式をサブコストで直接表現すると次式のようになの音素ラベルと、後続音素の音素ラベルとを、第３の音る。
c
響的特徴パラメータという。各連結サブコストＣ j （ｕ 40 【００６７】ci‑1 ，ｕi ）の重みｗ j は予め経験的に（又は実験的に）＊【数１３】【００６８】音声単位選択処理は上式で決まる全体のコnストを最小にするような音声単位の組合せ／ｕ1 を決定するためのものである。ここで、日本出願の明細書で50は、オーバーラインを記述することができないために、
オーバーラインの代わりに／を用いる。
【００６９】

(11)
21
n
n
n
【数１４】／ｕ1 ＝ ｍｉｎ Ｃ（ｔ1 ，ｕ1 ）
ｕ1 ,ｕ2 ,…,ｕn【００７０】上記数１４において、関数ｍｉｎは、当該nn関数の引数であるＣ（ｔ1 ，ｕ1 ）を最小にする音素候補の組み合わせ（すなわち、音素列候補）ｕ1 ,ｕ2 ,…,nｕn ＝／ｕ1 を表わす関数である。
【００７１】図２の重み係数学習部１１における重み係
数の学習処理について以下説明する。目標サブコストの重みは音響的距離に基づく線形回帰分析を用いて決定する。重み係数の学習処理ではすべての音素毎に異なる重み係数を決めることもできるし、音素カテゴリ（例えば、すべての鼻音）毎に重み係数を決めることもできる。また、すべての音素について共通の重み係数を決めることもできるが、ここでは各音素で別々の重み係数を用いることとする。特徴パラメータメモリ３０内のデー
タベースにおける各トークン（又は各音声サンプル）
は、各トークンの音響的特徴に関係する第１の音響的特徴パラメータと第１の韻律的特徴パラメータの組で記述されている。重み係数は、第１の音響的特徴パラメータと第１の韻律的特徴パラメータの各パラメータと、トークン又はコンテキストにおける音素の第２の音響的特徴
パラメータにおける差又は音響的距離との間の関係の強さ（寄与度）を決定するために学習される。以下に線形回帰分析における処理の流れを示す。
【００７２】＜１＞現在学習を行なっている音素種類（又は音素カテゴリ）に属する音声波形信号データベー
ス中のすべてのサンプルについて繰り返し以下の４つの処理（ａ）乃至（ｄ）を実行する。
（ａ）取り上げた音声サンプルを目的の発話内容と見なす。
（ｂ）音声波形信号データベース中の同一の音素種類（カテゴリ）に属する他のすべてのサンプルと当該音声サンプルとの音響的距離を計算する。
（ｃ）目標音素に近いもの上位Ｎ１個（例えば、Ｎ１＝２０個である。）の最良の音素候補を選び出す。
（ｄ）目標音素自身ｔi と上記（ｃ）で選んだ上位Ｎ１
t
個のサンプルについて目標サブコストＣ j （ｔi ，ｕi ）を求める。
＜２＞すべての目標音素ｔi と上位Ｎ１個の最適サンプtルについて音響的距離と目標サブコストＣ j （ｔi ，ｕi ）を求める。
＜３＞ｐ個の目標サブコストに対して線形回帰分析を実行することにより、上記目標音素を表わす第１の音響的特徴パラメータと第１の韻律的特徴パラメータの各特徴
パラメータにおける寄与度を予測して、当該音素種類（カテゴリ）に対する、ｐ個の目標サブコストの線形重み係数を求める。この重み係数を用いて上記コストを計算する。そして、＜１＞から＜３＞までの処理をすべての音素種類（カテゴリ）について繰り返す。
【００７３】もし仮に目的音声単位の音響的距離が直接

10

20

30

40

50

特許３４５９６００22
求められた場合に最も近い音声サンプルを選び出すためにはそれぞれの目標サブコストにどのような重み係数をかければ良いのかを決定するのが、この重み係数学習部
１１の目的である。本実施形態の利点は音声波形信号データベース中の音声波形信号の音声セグメントを直接的に利用できることである。
【００７４】以上のように構成された図２の音声合成装置において、音声分析部１０と、重み係数学習部１１と、音声単位選択部１２と、音声合成部１３とは、例えば、マイクロプロセッシングユニット（ＭＰＵ）などのデジタル計算機又は演算制御装置によって構成される一方、テキストデータベースメモリ２２ａと、音素ＨＭＭ
メモリ２３と、特徴パラメータメモリ３０と、重み係数
ベクトルメモリ３１とは例えばハードディスクなどの記憶装置で構成される。ここで、好ましい実施例においては、音声波形信号データベースメモリ２１ａは、ＣＤ−
ＲＯＭの形式の記憶装置である。以下、以上のように構成された図２の音声合成装置の各処理部１０乃至１３における処理について説明する。
【００７５】図５は、図１の音声分析部１０によって実行される音声分析処理のフローチャートである。図５に
おいて、まず、ステップＳ１１で、音声波形信号データ
ベースメモリ２１ａから自然発話の音声波形信号の信号を入力してＡ／Ｄ変換してデジタル音声波形信号データに変換するとともに、当該音声波形信号の音声文を書き下したテキストデータをテキストデータベースメモリ２
２ａ内のテキストデータベースから入力する。ここで、テキストデータはなくてもよく、ない場合は、音声波形信号から公知の音声認識装置を用いて音声認識してテキストデータを得てもよい。なお、Ａ／Ｄ変換した後のデジタル音声波形信号データは、例えば１０ミリ秒毎の音
声セグメントに分割されている。そして、ステップＳ１２で、音素列が予測されているか否かが判断され、音素列が予測されていないときは、ステップＳ１３で、例えば音素ＨＭＭメモリ２３内の音素ＨＭＭを用いて音素列を予測して記憶した後、ステップＳ１４に進む。ステッ
プＳ１２で音素列が予測されている又は予め与えられている、もしくは手作業で音素ラベルが付与されているときは、直接にステップＳ１４に進む。
【００７６】ステップＳ１４では、各音素セグメントに対する、音声波形信号の複数の文又は１つの文からなる
ファイルにおける開始位置と終了位置を記録し、当該ファイルに索引番号を付与する。次いで、ステップＳ１５では、各音素セグメントに対する上記第１の音響的特徴
パラメータを例えば公知のピッチ抽出法を用いて抽出する。そして、ステップＳ１６では、各音素セグメントに対して音素ラベル付けを実行して、音素ラベルとそれに対する第１の音響的特徴パラメータを記録する。さらに、ステップＳ１７では、各音素セグメントに対する第１の音響的特徴パラメータと、音素ラベルと、音素ラベ

(12)
23
ルに対する上記第１の韻律的特徴パラメータを、ファイルの索引番号と、ファイル内の開始位置と時間長とともに、特徴パラメータメモリ３０に記憶する。最後に、ス
テップＳ１８で、各音素セグメントに対して、ファイルの索引番号とファイル内の開始位置と時間長とを含む索引情報を付与して、当該索引情報を特徴パラメータメモ
リ３０に記憶して、当該音声分析処理を終了する。
【００７７】図６及び図７は、図２の重み係数学習部１
１によって実行される重み係数学習処理のフローチャー
トである。図６において、まず、ステップＳ２１で、特徴パラメータメモリ３０から１個の音素種類を選択する。次いで、ステップＳ２２で、選択された音素種類と同一の音素種類を有する音素の第１の音響的特徴パラメータから第２の音響的特徴パラメータを取り出して目標
音素の第２の音響的特徴パラメータとする。そして、ス
テップＳ２３で、同一の音素種類を有する目標音素以外の残りの音素と、第２の音響的特徴パラメータにおける
目標音素との間の、音響的距離であるユークリッドケプ
ストラム距離と、底を２とする対数音素時間長とを計算する。ステップＳ２４では、すべての残りの音素についてステップＳ２２及びＳ２３の処理をしたか否かが判断され、処理が完了していないときは、ステップＳ２５で別の残りの音素を選択してステップＳ２３からの処理を繰り返す。
【００７８】一方、ステップＳ２４で処理が完了しているときは、ステップＳ２６で、ステップＳ２３で得られた距離及び時間長に基づいて、上位Ｎ１個の最良の音素候補を選択する。次いで、ステップＳ２７で選択された
上位Ｎ１個の最良の音素候補について１番目からＮ１番目までランク付けする。そして、ステップＳ２８で、ランク付けされたＮ１個の最良の音素候補に対して各距離から中間値を引いてスケール変換値を計算する。そして、ステップＳ２９において、すべての音素種類及び音素についてステップＳ２２からＳ２８までの処理を完了したか否かが判断され、完了していないときは、ステップＳ３０で別の音素種類又は音素を選択した後、ステッ
プＳ２２からの処理を繰り返す。一方、ステップＳ２９で処理が完了しているときは、図７のステップＳ３１に進む。
【００７９】図７において、ステップＳ３１では、１個の音素種類を選択する。次いで、ステップＳ３２では、選択された音素種類に対して各音素の第２の音響的特徴
パラメータを抽出する。そして、ステップＳ３３で、選択された音素種類に対するスケール変換値に基づいて線形回帰分析を行うことにより、各第２の音響的特徴パラ
メータにおけるスケール変換値に対する寄与度を計算し、計算された寄与度を目標音素毎の重み係数として重み係数ベクトルメモリ３１に記憶する。ステップＳ３４
では、すべての音素種類について上記ステップＳ３２及びＳ３３の処理を完了したか否かが判断され、完了して

10

20

30

40

50

特許３４５９６００
24
いないときは、ステップＳ３５で別の音素種類を選択した後、ステップＳ３２からの処理を繰り返す。一方、ステップＳ３４で処理が完了しているときは、当該重み係
数学習処理を終了する。なお、各第２の韻律的特徴パラ
メータにおける寄与度は経験的に（又は実験的に）予め与えられて、当該寄与度を目標音素毎の重み係数ベクト
ルとして重み係数ベクトルメモリ３１に記憶する。
【００８０】図８は、図２の音声単位選択部１２によって実行される音声単位選択処理のフローチャートである。図８において、まず、ステップＳ４１で、入力された音素列のうち最初から１個目の音素を選択する。次いで、ステップＳ４２で、選択された音素と同一の音素種類を有する音素の重み係数ベクトルを重み係数ベクトル
メモリ３１から読み出し、目標サブコスト及び必要な特徴パラメータを特徴パラメータメモリ３０から読み出してリストアップする。そして、ステップＳ４３ですべての音素について処理したか否かが判断され、完了していないときはステップＳ４４で次の音素を選択した後、ステップＳ４２の処理を繰り返す。一方、ステップＳ４３で完了していないときは、ステップＳ４５に進む。
【００８１】ステップＳ４５では、入力された音素列に対して数４を用いて各音素候補における全体のコストを計算する。次いで、ステップＳ４６では、計算されたコ
ストに基づいて、上位Ｎ２個の最良の音素候補をそれぞれの目標音素に対して選択する。そして、ステップＳ４７では、数５を用いてビタビサーチにより、全体のコストを最小にする音素候補の組み合わせの索引情報と、その各音素の開始時刻と時間長とともに検索した後、音声合成部１３に出力して、当該音声単位選択処理を終了する。
【００８２】さらに、音声合成部１３は、音声単位選択
部１２から出力される索引情報と、その各音素の開始時
刻と時間長とに基づいて、音声波形信号データベースメ
モリ２１ａに対してアクセスして単位選択された音素候補のデジタル音声波形信号データを読み出して、逐次Ｄ／Ａ変換して変換後のアナログ音声信号をスピーカ１４を介して出力する。これにより、入力された音素列に対応する音声合成された音声がスピーカ１４から出力される。
【００８３】以上説明したように、本実施形態の音声合成装置においては、出力音声の自然性を最大にするために、大規模な自然音声のデータベースを用いて処理を最小に抑える方法について述べた。本実施形態は４つの処
理部１０乃至１３から構成される。
＜音声分析部１０＞正書法の書き起こしテキストを伴った任意の音声波形信号データを入力とし、この音声波形
信号データベース中のすべての音素について、それらの性質を記述する特徴ベクトルを与える処理部。
＜重み係数学習部１１＞音声波形信号データベースの特徴ベクトルと音声波形信号データベースの原波形を用い

(13)特許３４５９６００25
26て、目的の音声を合成する場合に最も適するように音声＊ データベースを基本とする音声合成装置を構築した。
単位を選ぶための、各特徴パラメータの最適重み係数を＜音声波形信号の直接接続＞上記の自動学習により、大重みベクトルとして決定する処理部。
規模音声波形信号データベースから最適な音声サンプル＜音声単位選択部１２＞音声波形信号データベースの全を選び出すことにより、何らの信号処理も利用しない任音素の特徴ベクトルと重みベクトルと目的音声の発話内
意音声合成装置を構築した。
容の記述から音声波形信号データベースメモリ２１ａの＜音声波形信号データベースの外部情報化＞音声波形信索引情報を作成する処理部。
号データベースを完全に外部情報として取り扱うことに＜音声合成部１３＞作成された索引情報に従って、音声
より、単にＣＤ−ＲＯＭ等に記憶した音声波形信号デー
波形データベースメモリ２１ａ内の音声波形信号データ
タを取り替えることで任意の言語、任意の話者に利用でベース中の音声波形信号データの音声セグメントに飛び 10 きる音声合成装置を構築した。
飛びにアクセスし、目的の音声波形信号の音声セグメン【００８６】
トを連結しかつＤ／Ａ変換してスピーカ１４に出力して【実施例】本発明者は、本実施形態の図１の音声データ
音声を合成する処理部。
量削減装置を用いて、音声波形データベースの音声デー【００８４】本実施形態においては、音声波形信号の圧タ量を削減し、かつ音声データ量が削減された音声波形
縮や音声基本周波数Ｆ0 や音素時間長の修正は不要にな
データベースに基づいて、図２の音声合成装置を用いてったが、代わって音声サンプルを注意深くラベル付け
音声合成した実験結果について以下に説明する。
し、大規模な音声波形信号データベースの中から最適な【００８７】まず、本発明者らによる音素バランス調査
ものを選択することが必要となる。本実施形態の音声合について説明する。本特許出願人が所有するテキストデ成方法の基本単位は音素であり、これは辞書やテキスト
ータベース及び音声波形データベース（以下、ＣＨＡＴ−音素変換プログラムで生成されるが、同一の音素であ 20 Ｒという。）で使用される日本語話者のラベルデータにっても音声波形信号データベース中に音素の十分なバリ
基づいて音素バランス調査を行った。この調査では、音エーションを含んでいることが要求される。音声波形信素ラベルデータから抽出した音素列から、２音素ずつ組
号データベースからの音声単位選択処理では目的の韻律み合わせたバイフォンデータを作成した。例えば、ラベ的環境に適合し、しかも接続したときに隣接音声単位間
ルデータの発話内容が「あらゆる」であった場合、抽出での不連続性が最も低い音素サンプルの組合せが選ばれした音素列は、る。このために、音素毎に各特徴パラメータの最適重み【数１５】＃ ａ ｒ ａ ｙ ｕ ｒ ｕ ＃係数が決定される。
となる。ここで、＃は発話開始記号又は発話終了記号を【００８５】本実施形態の音声合成装置の特徴は、次の示す。この音素列から２音素ずつ組み合わせたバイフォ通りである。
ンリストは、＜単位選択規準としての韻律的情報の利用＞スペクトル 30 【数１６】＃＿ａ ａ＿ｒ ｒ＿ａ ａ＿ｙ ｙ＿ｕ
的特徴は韻律的特徴と不可分であるとの立場から、音声
ｕ＿ｒ ｒ＿ｕ ｕ＿＃
単位の選択規準に韻律的な特徴を導入した。
の８種類となる。
＜音響的及び韻律的特徴パラメータの重み係数の自動学【００８８】次いで、バイフォンリストの作成例につい習＞音素環境や音響的特徴、韻律的特徴等の各種の特徴て説明する。この作成例の結果を次の表に示す。
量が音声単位の選択にどれだけの寄与があるかを音声波【００８９】
形信号データベース中の全音声サンプルを利用すること【表５】
で自動的に決定し、テキストデータベース及び音声波形＊
バイフォンリストの作成例―――――――――――――――――――――――――――――――――――
発話内容：あらゆる現実を全て自分の方へねじ曲げたのだ。
―――――――――――――――――――――――――――――――――――
音素列：# a r a y u r u g e N j i ts u o# s u b e t e# j i b u N n o h o o e# n e j i m a g e t a n o d a #―――――――――――――――――――――――――――――――――――
バイフォンリスト：#̲a a̲r r̲a a̲y y̲u u̲r r̲u u̲g g̲e e̲N N̲j j̲i i̲ts ts̲u u̲o o̲##̲s s̲u u̲b b̲e e̲t t̲e e̲#(14)特許３４５９６００

27
28#̲j j̲i i̲b b̲u u̲N N̲n n̲o o̲h h̲o o̲o o̲e e̲##̲n n̲e e̲j j̲i i̲m m̲a a̲g g̲e e̲t t̲a a̲n n̲o o̲d d̲a a̲#―――――――――――――――――――――――――――――――――――【００９０】上記の場合、バイフォンリストは、５０件＊ 示す。
４４種類となり、６件が重複したバイフォンであること【００９１】がわかる。ここで、件数別バイフォンリストを次の表に＊【表６】
件数別バイフォンリスト
―――――――――――――――――――――――――――――――――――
１件：#̲a a̲r r̲a a̲y y̲u u̲r r̲u u̲g e̲N N̲j i̲ts ts̲u u̲o o̲##̲s s̲u u̲b b̲e t̲e#̲j i̲b b̲u u̲N N̲n o̲h h̲o o̲o o̲e#̲n n̲e e̲j i̲m m̲a a̲g t̲a a̲n o̲d d̲a a̲#―――――――――――――――――――――――――――――――――――
２件：g̲e, e̲t, e̲#, n̲o―――――――――――――――――――――――――――――――――――
３件：j̲i―――――――――――――――――――――――――――――――――――【００９２】次いで、ＣＨＡＴＲ内のある日本語話者Ｍ※ ５０３文章
５０３ファイル
ＹＡに対してのバイフォンリストを作成し、以下のよう
２２文章
２２ファイルに出現頻度を集計することにより音素バランスを調べ
20 旅行会話
６７５ファイルた。ここで、話者ＭＹＡの音声波形データベースの情報――――――――――――――――――
を次の表に示す。
合計
１２００ファイル
【００９３】――――――――――――――――――【表７】話者ＭＹＡの音声波形データベースの情報【００９４】日本語話者ＭＹＡに対する音素バランス調――――――――――――――――――
査の結果を以下に示す。
発話内容
ファイル数
【００９５】――――――――――――――――――※【表８】
バイフォンリスト集計結果――――――――――――――――――――――――――――
バイフォンの件数：６０，４０５件（ラベリングミス除く）
バイフォンの種類：４１５通り（ラベリングミス除く）――――――――――――――――――――――――――――【００９６】★ ａ＿ｉ
９７０【表９】出現頻度の多いバイフォンリスト１０種類
ｎ＿ｏ
９５５―――――――――――――
ｋ＿ａ
８８６
バイフォン
件数
ｔ＿ｏ
７８６
―――――――――――――
ｇ＿ａ
７７２
ｏ＿ｏ
１４３６
ｉ＿ｍ
７４４
ａ＿＃
１３２６
―――――――――――――ｄ＿ｅ
９９２
40 【００９７】
ｍ＿ａ
９８８
★
【表１０】
出現頻度１件のバイフォン：４２通り―――――――――――――――――――――――――――――――――――
I̲g I̲n U̲b U̲r d̲y f̲o t̲y I̲kk a̲ff a̲gg ch̲e dd̲a e̲dd e̲gg e̲hhe̲ss ff̲ugg̲a gg̲u hh̲a hh̲i hh̲o i̲hh i̲jj jj̲i o̲hh o̲zz pp̲U ss̲o ss̲u tt̲Uu̲ddzz̲u U̲tts cch̲I cch̲e cch̲u e̲cch o̲tts ssh̲I ssh̲U tts̲U―――――――――――――――――――――――――――――――――――【００９８】日本語話者ＭＹＡに対する音素バランス調 50 査におけるバイフォンリストの詳細結果を以下に示す。

(15)
29

【００９９】【０１００】【０１０１】

特許３４５９６００30＊ ＊ 【表１１】
出現頻度５００件以上のバイフォンリスト
（バイフォン／件数）―――――――――――――――――――――――――――――――――――o̲o 1436 a̲# 1326 d̲e 992 m̲a 988 a̲i 970 n̲o 955
k̲a 886 t̲o 786 g̲a 772 i̲m 744 a̲r 738 t̲a 716
w̲a 696 n̲i 678 a̲s 651 o̲# 604 o̲k 603 n̲a 594
s̲U 586 r̲u 582 k̲u 581 o̲n 573 y̲o 563 a̲k 551
r̲i 544 i̲# 536 o̲r 517 k̲o 507 sh̲i 506 r̲a 506
u̲u 504 e̲# 503 a̲N 503―――――――――――――――――――――――――――――――――――※ ※ 【表１２】
出現頻度１００件以上５００件未満のバイフォンリスト
（バイフォン／件数）―――――――――――――――――――――――――――――――――――#̲k 490 t̲e 482 m̲o 465 u̲n 452 r̲e 444 i̲n 440
sh̲I 424 e̲N 415 s̲a 412 o̲m 405 a̲n 397 s̲u 394
I̲t 394 i̲r 365 a̲sh 364 #̲h 363 ts̲u 358 h̲a 356#̲s 356 g̲o 355 k̲i 349 o̲d 348 e̲s 348 o̲t 340e̲r 340 i̲N 332 y̲u 326 d̲a 324 U̲# 317 u̲# 313
d̲o 312 u̲r 311 y̲a 310 o̲sh 309 ch̲i 299 s̲o 299
s̲e 288 i̲t 286 a̲t 281 a̲m 280 U̲k 279 j̲i 276
h̲o 274 o̲g 271 N̲d 267 k̲e 262 n̲e 261 m̲i 259
o̲N 254 e̲k 254 e̲e 248 i̲k 243 sh̲o 242 r̲o 239
o̲y 238 N̲n 238 #̲n 237 i̲g 234 #̲o 233 u̲g 232
u̲k 230 i̲d 227 u̲d 222 e̲t 218 a̲d 218 i̲i 217o̲h 216 o̲s 214 a̲g 210 o̲i 205 e̲n 205 m̲e 200#̲# 199 I̲k 198 #̲m 192 tt̲e 188 z̲a 188 u̲m 188k̲y 188 #̲g 187 a̲tt 181 e̲d 180 e̲g 178 #̲i 173b̲a 170 u̲N 169 e̲sh 167 e̲i 164 a̲a 162 #̲d 160#̲j 159 #̲a 159 #̲t 157 z̲u 156 e̲m 155 N̲k 153o̲ch 152 j̲u 152 #̲y 152 i̲sh 149 o̲z 145 b̲u 140i̲o 139 #̲sh 137 i̲h 137 u̲i 132 N̲g 131 o̲w 129i̲s 129 tt̲a 127 k̲U 126 e̲w 125 u̲o 124 i̲w 124e̲o 123 a̲ts 118 j̲o 115 a̲w 114 g̲e 112 o̲b 111o̲j 110 a̲o 110 u̲t 109 U̲t 109 k̲I 108 a̲e 106
N̲t 106 u̲s 102―――――――――――――――――――――――――――――――――――★ ★ 【表１３】
出現頻度５０件以上１００件未満のバイフォンリスト
（バイフォン／件数）―――――――――――――――――――――――――――――――――――u̲y 99 m̲u 99 i̲y 99 u̲sh 98 h̲i 97 h̲I 97
a̲ch 95 i̲ch 93 ts̲U 92 ch̲I 92 o̲a 92 N̲j 92
f̲u 91 u̲b 90 g̲u 90 g̲i 90 U̲s 90 #̲ch 88i̲b 83 sh̲a 82 f̲U 81 b̲e 81 a̲h 81 o̲tt 80
N̲w 80 i̲ts 78 u̲j 77 N̲sh 76 a̲y 76 b̲i 75#̲w 74 a̲z 73 a̲b 73 o̲e 71 i̲a 71 b̲o 71
sh̲u 70 i̲tt 69 e̲b 68 N̲b 68 N̲# 68 tt̲o 67
i̲z 67 #̲b 67 a̲j 66 i̲j 65 e̲a 65 #̲r 65

(16)

特許３４５９６００

31
32#̲f 65 u̲w 63 u̲h 63 o̲ts 62 u̲z 62 h̲y 61
N̲m 61 r̲y 60 e̲ts 57 ch̲o 57 h̲e 56 N̲s 55
e̲y 51―――――――――――――――――――――――――――――――――――【０１０２】＊ ＊ 【表１４】
出現頻度１０件以上５０件未満のバイフォンリスト
（バイフォン／件数）―――――――――――――――――――――――――――――――――――z̲e 47 u̲e 47 o̲f 47 N̲r 47 N̲o 47 I̲ts 46
ch̲u 45 i̲e 45 i̲pp 42 z̲o 42 N̲h 42 #̲z 41n̲y 40 #̲u 40 a̲u 39 #̲ts 38 o̲u 34 n̲u 34
j̲a 34 g̲y 34 pp̲a 33 u̲ts 32 p̲a 32 I̲s 32#̲e 32 kk̲a 30 e̲h 29 N̲y 29 u̲ch 28 e̲tt 26
U̲sh 26 i̲u 26 N̲p 26 i̲kk 25 b̲y 25 e̲z 23
e̲j 23 a̲f 23 a̲kk 22 U̲n 21 u̲tt 20 i̲f 20#̲p 20 kk̲u 19 o̲kk 18 e̲kk 18 u̲f 18 i̲ssh 17
pp̲o 17 N̲ch 17 I̲ch 17 o̲p 17 m̲y 17 u̲a 16
p̲u 16 N̲z 16 N̲i 16 kk̲o 15 ch̲a 15 p̲e 15
j̲e 15 N̲e 15 I̲# 15 o̲pp 14 t̲i 14 U̲ts 13
p̲o 13 ssh̲i 12 pp̲u 12 kk̲i 12 w̲o 12 p̲i 12
kk̲y 11 a̲pp 11 U̲d 11―――――――――――――――――――――――――――――――――――【０１０３】※ ※ 【表１５】
出現頻度１件以上１０件未満のバイフォンリスト
（バイフォン／件数）―――――――――――――――――――――――――――――――――――u̲kk 9 ss̲e 9 i̲p 9 e̲u 9 N̲f 9 ssh̲a 8a̲ssh 8 u̲pp 8 pp̲i 8 u̲p 8 r̲U 8 f̲i 8
pp̲y 7 e̲ch 7 U̲tt 7 p̲y 7 e̲f 7 e̲ssh 6
cch̲i 6 kk̲e 6 i̲ss 6 N̲ts 6 e̲p 6 d̲i 6
a̲p 6 U̲z 6 U̲p 6 U̲g 6 tts̲u 5 ssh̲o 5o̲cch 5 I̲tt 5 I̲sh 5 f̲e 5 u̲ssh 4 i̲tts 4i̲cch 4 cch̲a 4 u̲ss 4 tt̲i 4 p̲U 4 U̲h 4
N̲u 4 N̲a 4 a̲cch 3 ss̲a 3 pp̲e 3 kk̲U 3
dd̲o 3 a̲ss 3 U̲kk 3 I̲pp 3 j̲I 3 f̲a 3
I̲d 3 u̲cch 2 o̲ssh 2 cch̲o 2 sh̲e 2 i̲dd 2hh̲e 2 ff̲e 2 e̲pp 2 e̲ff 2 a̲hh 2 w̲e 2
p̲I 2 d̲u 2 U̲j 2 I̲p 2 I̲m 2 I̲h 2
I̲b 2 tts̲U 1 ssh̲U 1 ssh̲I 1 o̲tts 1 e̲cch 1
cch̲u 1 cch̲e 1 cch̲I 1 U̲tts 1 zz̲u 1 u̲dd 1
tt̲U 1 ss̲u 1 ss̲o 1 pp̲U 1 o̲zz 1 o̲hh 1
jj̲i 1 i̲jj 1 i̲hh 1 hh̲o 1 hh̲i 1 hh̲a 1
gg̲u 1 gg̲a 1 ff̲u 1 e̲ss 1 e̲hh 1 e̲gg 1
e̲dd 1 dd̲a 1 ch̲e 1 a̲gg 1 a̲ff 1 I̲kk 1
t̲y 1 f̲o 1 d̲y 1 U̲r 1 U̲b 1 I̲n 1
I̲g 1―――――――――――――――――――――――――――――――――――【０１０４】以上示したように、ある日本語話者に対し質を低下させずに、図３の処理を用いて音声データ量のて、バイフォンの分布にかなりバラツキがあることがわ
削減を行った。
かる。これに基づいて、本発明者らは、音声合成後の品 50 【０１０５】音声波形データベースの縮小の実験におい(17)

特許３４５９６００3334ては、音素的にバランスのとれた文章セット（文数ｎ＝＊ ２減量ＭＹＡと呼ぶ。音声データ量を削減した後に、得５２５）及び旅行用対話テキストのセット（文数ｎ＝６られた音声波形データベースのスコアを、韻律的特徴パ７５）を読み上げる男性話者ＭＹＡ（職業アナウンサー
ラメータ及び音響特徴パラメータにかかる距離に関してではない）による音声波形データを使用した。そして、測定した。表１６は、３つの音声波形データベースの各
本発明者らは、上述の冗長性尺度、すなわち類似度の判々における音声ファイルの計数値を示している。表１７
断基準に従って音声波形データベースを元のサイズの３は韻律的特徴パラメータのスコアを示し、表１８は音響分の２及び半分にまで、すなわち１２００発話から各々
特徴パラメータのスコアを示している。
８０６及び６２５発話にまで音声データ量を削減した。
【０１０６】
ここで、それぞれのデータベースを第１減量ＭＹＡと第＊【表１６】
音声波形データベースの縮小―――――――――――――――――――――――――――――――――――
データベース 音声セク゛メント数 音声波形ＤＢ内の文の数 テストされた文の数―――――――――――――――――――――――――――――――――――
ＭＹＡ
１２００
５２５／６７５
１１９８
第１減量ＭＹＡ
８０６
４７４／３３２
８０４
第２減量ＭＹＡ
６２５
３３８／２３７
６２３―――――――――――――――――――――――――――――――――――（注）ＤＢはデータベースを示す。以下、同様である。
【０１０７】※ ※ 【表１７】
韻律的特徴パラメータに基づくスコア―――――――――――――――――――――――――――――――――――
データベース
全体のスコア 音声波形ＤＢ内の文の数
スコアの平均値―――――――――――――――――――――――――――――――――――
ＭＹＡ
９５６０
１１９８
＊７．９８０５１８
第１減量ＭＹＡ
６９８３
８０４
８．６８５６２７
第２減量ＭＹＡ
５６０５
６２３
８．９９７５５７―――――――――――――――――――――――――――――――――――（注）＊は最低のスコアを示す。
【０１０８】★ ★ 【表１８】
バイスペクトルに基づくスコア―――――――――――――――――――――――――――――――――――
データベース
全体のスコア 音声波形ＤＢ内の文の数
スコアの平均値―――――――――――――――――――――――――――――――――――
ＭＹＡ
１５０２０
１１９８
１２．５３７７７０
第１減量ＭＹＡ
９７５７
８０４＊１２．１３６１１９
第２減量ＭＹＡ
７５７１
６２３
１２．１５２６８７―――――――――――――――――――――――――――――――――――（注）＊は最低のスコアを示す。
【０１０９】表１７及び表１８から明らかなように、音きい値以上であるときに、当該１対のバイフォンのうち
声波形データベースの音声データ量を削減した結果、韻 40 の一方のバイフォンの音素に係る音声波形信号の音声セ
律的特徴パラメータの変動性ではスコアで約０．７ポイ
グメントのデータを上記音声波形データベースから削除
ント低下しているものの、音響特徴パラメータにおけるすることにより音声データ量を削減する。従って、音声平滑性の面ではスコアで０．４ポイント向上しているこ
合成時の音声品質を実質的に低下させることなく、音声とが分かる。
波形データベースを格納するメモリ容量を削減すること【０１１０】以上説明したように、本実施形態によれができ、音声合成時の探索速度を高めることができる。
ば、バイフォンリストに基づいて各１対のバイフォンに【０１１１】
対する韻律的特徴パラメータと音響的特徴パラメータと【発明の効果】以上詳述したように本発明に係る音声合に関する所定の類似度を計算し、上記計算された類似度成装置のための音声データ量削減装置によれば、１対のが所定の第１のしきい値以上であり、かつ上記バイフォ
音素のリストに基づいて各１対の音素に対する韻律的特ンのリスト中の同一のバイフォンの数が所定の第２のし 50 徴パラメータと音響的特徴パラメータとに関する所定の(18)

特許３４５９６００35
36
類似度を計算し、上記計算された類似度が所定の第１の＊ 【図５】 図２の音声分析部によって実行される音声分
しきい値以上であるときに、当該各１対の音素のうちの析処理のフローチャートである。
一方の１対の音素に係る音声波形信号の音声セグメント【図６】 図２の重み係数学習部によって実行される重のデータを上記音声波形データベースから削除すること
み係数学習処理の第１の部分のフローチャートである。
により音声データ量を削減する。従って、音声合成時の【図７】 図２の重み係数学習部によって実行される重音声品質を実質的に低下させることなく、音声波形デー
み係数学習処理の第２の部分のフローチャートである。
タベースを格納するメモリ容量を削減することができ、【図８】 図２の音声単位選択部によって実行される音
音声合成時の探索速度を高めることができる。
声単位選択処理のフローチャートである。
【０１１２】また、上記計算された類似度が所定の第１【符号の説明】のしきい値以上でありかつ上記バイフォンのリスト中の 10 １０…音声分析部、同一のバイフォンの数が所定の第２のしきい値以上であ１１…重み係数学習部、るときに、当該各１対の音素のうちの一方の１対の音素
１２…音声単位選択部、に係る音声波形信号の音声セグメントのデータを上記音
１３…音声合成部、
声波形データベースから削除することにより音声データ
１４…スピーカ、量を削減する。従って、音声波形データベースを格納す
２１，２１ａ…音声波形信号データベースメモリ、るメモリ容量を削減することができ、音声合成時の探索
２２，２２ａ…テキストデータベースメモリ、
速度を高めることができるとともに、音声波形データベ
２３…音素ＨＭＭメモリ、ースにおいて所定数の同一のバイフォンに対する音声波
３０…特徴パラメータメモリ、
形データを確保して、音声合成後の音声の品質を所定以
３１…重み係数ベクトル、上に確保することができる。
20 ４０…基本韻律データ生成部、【図面の簡単な説明】
４１…評価韻律データ生成部、【図１】 本発明に係る一実施形態である音声データ量
４２…バイフォンリスト生成部、削減処理装置のブロック図である。
４３…バイスペクトラムデータ生成部、【図２】 本発明に係る一実施形態である自然発話音声
４４…評価データ行列生成部、
波形信号接続型音声合成装置のブロック図である。
４５…音声データ削減処理部、【図３】 図１の音声データ量削減処理部によって実行
５０…基本韻律データメモリ、される音声データ量削減処理を示すフローチャートであ
５１…評価韻律データメモリ、る。
５２…バイフォンリストメモリ、【図４】 図２の音声単位選択部によって計算される音
５３…バイスペクトラムデータメモリ、
声単位選択コストの定義を示すモデル図である。
＊30 ５４…評価データ行列メモリ。
【図１】

(19)

特許３４５９６００

【図２】

【図３】

【図４】

(20)

【図５】

特許３４５９６００

(21)

【図６】

特許３４５９６００

(22)

【図７】

特許３４５９６００

(23)

【図８】

特許３４５９６００

(24)特許３４５９６００

フロントページの続き(56)参考文献

特開
特開
特開
特開
特開
特開

平11−95796（ＪＰ，Ａ)
平10−39889（ＪＰ，Ａ)
平８−248975（ＪＰ，Ａ)
昭56−51800（ＪＰ，Ａ)
平７−84590（ＪＰ，Ａ)
平10−49193（ＪＰ，Ａ)

7(58)調査した分野(Int.Cl. ，ＤＢ名)
G10L 13/06