(57)【要約】【課題】  自然性を残したまま各音素の継続時間長の変換を実現する。【解決手段】  音声データと該音声データに対応する文章データとにより音素の継続時間長を生成する継続時間長生成装置において、前記音声データと前記文章データとの解析を行う言語解析手段と、前記言語解析手段により得られる言語的特徴量又は音響的特徴量から変換前の音素に対して予め設定される分布関数に基づいて、前記音素の継続時間長に対する存在位置を取得する変換前音声解析手段と、前記変換前音声解析手段により得られる前記存在位置と、予め設定された変換後の音素に対する分布関数とに基づいて、変換後の音素の継続時間長を取得して音素を変換する継続時間長変換手段とを有することにより、上記課題を解決する。【選択図】        図１
2006215110.tif 000002
【特許請求の範囲】
【請求項１】
音声データと該音声データに対応する文章データとにより音素の継続時間長を生成する継続時間長生成装置において、
前記音声データと前記文章データとの解析を行う言語解析手段と、
前記言語解析手段により得られる言語的特徴量又は音響的特徴量から変換前の音素に対して予め設定される分布関数に基づいて、前記音素の継続時間長に対する存在位置を取得する変換前音声解析手段と、
前記変換前音声解析手段により得られる前記存在位置と、予め設定された変換後の音素に対する分布関数とに基づいて、変換後の音素の継続時間長を取得して音素を変換する継続時間長変換手段とを有することを特徴とする継続時間長生成装置。
【請求項２】
前記言語解析手段は、
前記音声データと前記文章データとから得られる発声環境毎の各音素と、言語的特徴量又は音響的特徴量とに基づいて分布関数を生成することを特徴とする請求項１に記載の継続時間長生成装置。
【請求項３】
前記言語的特徴量は、
変換の対象となる音素と、前記音素の前後の音素、品詞、アクセント核の有無、フレーズ内位置、係り受けの有無のうち少なくとも１つを有することを特徴とする請求項１又は２に記載の継続時間長生成装置。
【請求項４】
前記音響的特徴量は、
発話速度、平均基本周波数、呼気段落の長さのうち少なくとも１つを有することを特徴とする請求項１又は２に記載の継続時間長生成装置。
【請求項５】
前記継続時間長変換手段は、
前記発話速度が異なる場合の継続時間長の変換及び／又は異なる音素への変換を行うことを特徴とする請求項１乃至４の何れか１項に記載の継続時間長生成装置。
【請求項６】
音声データと該音声データに対応する文章データとにより音素の継続時間長を生成する処理をコンピュータに実行させるための継続時間長生成プログラムにおいて、
前記音声データと前記文章データとの解析を行う言語解析処理と、
前記言語解析処理により得られる言語的特徴量又は音響的特徴量から変換前の音素に対して予め設定される分布関数に基づいて、前記音素の継続時間長に対する存在位置を取得する変換前音声解析処理と、
前記変換前音声解析処理により得られる前記存在位置と、予め設定された変換後の音素に対する分布関数とに基づいて、変換後の音素の継続時間長を取得して音素を変換する継続時間長変換処理とをコンピュータに実行させるための継続時間長生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音素の継続時間長生成装置及び継続時間長生成プログラムに係り、特に、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うための継続時間長生成装置及び継続時間長生成プログラムに関する。
【背景技術】
【０００２】
従来、入力されたテキストデータに音声を合成する手法としては、各音素における発話速度（話速）や各音素の前後関係、文章の内容等の環境を基に、その音素の継続時間長を統計的な平均値や確率関数によって求める手法がある（例えば、非特許文献１参照。）。また、自然発話のデータを部分的に接続して、音素の継続時間長を制御する手法がある（例えば、非特許文献２参照。）。
【０００３】
一方、発話速度を制御する場合には、一律に変換後の時間長の割合を基準に伸縮する手法がある（例えば、特許文献１参照。）。また、発話速度の異なる音声データベースから時間長を制御する手法がある（例えば、非特許文献３参照。）。
【非特許文献１】吉村貴克他，「ＨＭＭに基づく音声合成のための状態継続長モデルの構築」，社団法人  電子情報通信学会，信学技報  ＤＳＰ９８−８５，ＳＰ９８−６４（１９９８−０９），ｐｐ．４５−５０．
【非特許文献２】永松健司他，「可変長音素列を用いた継続時間長モデルの検討」，日本音響学会講演論文集，２００３年３月，ｐｐ．２２７−２２８．
【特許文献１】特許第２９５５２４７号公報
【非特許文献３】舛田剛志他，「発話速度の異なるデータベースを用いた音声合成手法の検討」，社団法人  電子情報通信学会，信学技報  ＳＰ２００１−１２２（２００２−１）,ｐｐ．６１−６８．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述したような従来の手法のように、実際に発声された音声に基づいて音素の継続時間長を制御する場合、異なる発声環境で発声された音声に含まれる音素の継続時間長を利用して、別の発声環境で使用することが考えられる。しかしながら、実際の音声では、発声環境によって継続時間長が大きく変化する。そのため、発話環境全てを満たすデータベースを生成する必要があるが、実際に生成するのは現実的ではない。また、従来手法である文章中の音素の継続時間長を一律に制御する場合には自然性の高い発声にはならず、自然性を残したままの高精度な音声を出力することはできない。
【０００５】
本発明は、上述した課題に鑑みなされたものであり、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うための音素の継続時間長生成装置及び継続時間長生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００７】
請求項１に記載された発明は、音声データと該音声データに対応する文章データとにより音素の継続時間長を生成する継続時間長生成装置において、前記音声データと前記文章データとの解析を行う言語解析手段と、前記言語解析手段により得られる言語的特徴量又は音響的特徴量から変換前の音素に対して予め設定される分布関数に基づいて、前記音素の継続時間長に対する存在位置を取得する変換前音声解析手段と、前記変換前音声解析手段により得られる前記存在位置と、予め設定された変換後の音素に対する分布関数とに基づいて、変換後の音素の継続時間長を取得して音素を変換する継続時間長変換手段とを有することを特徴とする。
【０００８】
請求項１記載の発明によれば、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うことができる。これにより、全体の音声における韻律パターンを生成し高精度な合成音声を出力することができる。
【０００９】
請求項２に記載された発明は、前記言語解析手段は、前記音声データと前記文章データとから得られる発声環境毎の各音素と、言語的特徴量又は音響的特徴量とに基づいて分布関数を生成することを特徴とする。
【００１０】
請求項２記載の発明によれば、より細分化した分布関数を生成することができる。この分布関数を用いることにより、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うことができる。
【００１１】
請求項３に記載された発明は、前記言語的特徴量は、変換の対象となる音素と、前記音素の前後の音素、品詞、アクセント核の有無、フレーズ内位置、係り受けの有無のうち少なくとも１つを有することを特徴とする。
【００１２】
請求項３記載の発明によれば、この言語的特徴量により分布関数を細分化して生成することができる。
【００１３】
請求項４に記載された発明は、前記音響的特徴量は、発話速度、平均基本周波数、呼気段落の長さのうち少なくとも１つを有することを特徴とする。
【００１４】
請求項４記載の発明によれば、この音響的特徴量により分布関数を細分化して生成することができる。
【００１５】
請求項５に記載された発明は、前記継続時間長変換手段は、前記発話速度が異なる場合の継続時間長の変換及び／又は異なる音素への変換を行うことを特徴とする。
【００１６】
請求項５記載の発明によれば、全体の音声における韻律パターンを生成し高精度な合成音声を出力することができる。また、対応する音素の分布関数が予め蓄積されていない場合であっても異なる音素の分布関数を用いて音素の変換を高精度に行うことができる。
【００１７】
請求項６に記載された発明は、音声データと該音声データに対応する文章データとにより音素の継続時間長を生成する処理をコンピュータに実行させるための継続時間長生成プログラムにおいて、前記音声データと前記文章データとの解析を行う言語解析処理と、前記言語解析処理により得られる言語的特徴量又は音響的特徴量から変換前の音素に対して予め設定される分布関数に基づいて、前記音素の継続時間長に対する存在位置を取得する変換前音声解析処理と、前記変換前音声解析処理により得られる前記存在位置と、予め設定された変換後の音素に対する分布関数とに基づいて、変換後の音素の継続時間長を取得して音素を変換する継続時間長変換処理とをコンピュータに実行させる。
【００１８】
請求項６記載の発明によれば、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うことができる。これにより、全体の音声における韻律パターンを生成し高精度な合成音声を出力することができる。また、特別な装置構成を必要とせず、低コストで継続時間長生成処理を実現することができる。また、プログラムをインストールすることにより、容易に継続時間長生成処理を実現することができる。
【発明の効果】
【００１９】
本発明によれば、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うことができる。
【発明を実施するための最良の形態】
【００２０】
＜本発明の概要＞
本発明は、音声合成の対象とする発声環境（発声音声に含まれる各音素における話速や各音素の前後関係、文章の内容等の環境）とは異なる発声環境における音声の一部分の時間長を、音声合成の対象となる発声環境において自然な時間長となるように変換する時間長制御方式である。
【００２１】
具体的には、音声とその文章の言語的特徴量や音声的特徴量を予め韻律データベースとして蓄積し、各発話環境における音素の継続時間長の存在分布を集計して、その存在分布を関数で近似する。また、変換前の発声環境における音素の継続時間長から、上述した分布関数内の存在位置を求め、更に変換後の音素の発声環境の分布関数から継続時間長を取得して変換を行う。
【００２２】
以下に本発明の特徴を有する音素の継続時間長生成装置及び継続時間長生成プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００２３】
＜実施形態＞
図１は、本発明における継続時間長生成装置の一構成例を示す図である。図１に示す継続時間長生成装置１０は、言語解析手段１１と、変換前音声解析手段１２と、継続時間長変換手段１３と、韻律データベース１４と、分布関数データベース１５とを有するよう構成されている。
【００２４】
言語解析手段１１は、韻律データベース１４又は分布関数データベース１５を生成するため、音声とその文章（サンプル音声とサンプル文章）を入力する。また、言語解析手段１１は、入力した音声データとその文章データから発声内容の言語解析を行う。言語解析では、各音素及びその音素の前後の音素、その音素の品詞、アクセント核の有無、フレーズ内位置、係り受けの有無、音素列、単語境界等の言語的特徴量を解析する。また、言語解析手段１１は、単語の重要度や、断定、疑問、感嘆等の文章の特徴量を解析してもよい。
【００２５】
また、言語解析手段１１は、入力される音声等から発話速度、平均基本周波数、呼気段落の長さ等の発声環境における音響的な特徴も取得し、上述した言語解析結果と共に韻律データベース１４に蓄積する。また、言語解析手段１１は、入力された音声も韻律データベース１４に蓄積しておいてもよい。なお、韻律データベース１４の内容については後述する。
【００２６】
また、言語解析手段１１は、韻律データベース１４に予め蓄積された言語解析結果からなる言語的特徴量や話速等の音響的特徴量（発声環境の特徴量）に基づいて、音素毎の継続時間長を求め、例えば、正規分布やその他の多項式等で、高精度近似した分布関数を生成する。また、言語解析手段１１は、生成した分布関数を特微量に基づいて細分化を行い、分布関数データベース１５に出力する。
【００２７】
例えば、ある音素に対して、その音素の前後の音素、その音素が属する形態素の品詞、アクセント核の有無、フレーズ内の位置、係り受けの有無、発話速度、平均基本周波数、呼気段落の長さ等うち何れか１つの環境における音素の継続時間長の分布関数を生成する。例えば、発話速度の場合は、発話速度毎（速い、遅い等）に音素の継続時間長の分布関数を生成する。つまり、発話速度等の実際の発声環境等で複数のカテゴリーに分類し、その音素が取り得た継続時間長の分布を求めるようにする。これにより、１つの音素に対して、より詳細な分布関数を生成することができる。なお、分布関数の詳細な説明は後述する。
【００２８】
更に、言語解析手段１１は、変換前の音声とその文章を入力し、上述したように音声と文章の解析を行い、言語的特徴量と変換前の音響的特徴量とからなる解析結果を変換前音声解析手段１２に出力する。なお、言語解析手段１１は、実際に継続時間長変換を行う音声とその文章に対しても上述したように分布関数を求めてもよい。
【００２９】
変換前音声解析手段１２は、言語解析手段１１から得られる変換前の音素と、その音素の継続時間長や特徴量等に基づいて、分布関数データベース１５に蓄積されている対象の音素に対応する分布関数から存在位置を取得する。また、変換前音声解析手段１２は、分布関数データベース１５を参照して取得した存在位置の情報を継続時間長変換手段１３に出力する。
【００３０】
継続時間長変換手段１３は、分布関数データベース１５を参照し、変換後の分布関数の位置から変換後の音素に対応した分布関数を参照し、その継続時間長を求める。なお、継続時間長変換手段１３は、入力される音声をどのように変換するか等の情報（パラメータ）が予め設定されており、その情報に基づいて変換後の音素を把握することができる。なお、パラメータの設定方法については、本発明においてはこの限りではなく、例えば、言語解析手段１１の入力として最初に入力してもよい。
【００３１】
また、継続時間長変換手段１３は、変換された音素に対する継続時間長を音素毎に生成する。これにより、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うことができる。
【００３２】
上述した継続時間長生成装置１０を有することにより、例えば、発声速度（話速）の速い「それでは、」の音声を、発声速度の遅い「それでは、」の音声に変換したり、「それでは、」を「これでは、」に音素の置き換えを行った場合に、自然性を残したまま異なる環境への音素の継続時間長の変換を高精度に行うことができる。また、全体の音声における韻律パターンを生成し高精度な合成音声を出力することができる。なお、具体的な継続時間長の生成手法については後述する。
【００３３】
＜韻律データベース１４＞
次に、韻律データベース１４について説明する。韻律データベース１４は、複数の変換前の音声とその文章から得られる言語的特徴量と、発声音声を分析した音響的特徴量とが蓄積される。ここで、言語的解析結果としては、変換の対象となる音素と、前記音素の前後の音素、品詞、アクセント核の有無、フレーズ内位置、係り受けの有無のうち少なくとも１つを有し、具体的に「形態素」、「音素」、「品詞の種類（動詞、名詞等）」、「文節の種類（体言、用言、連体修飾語、主語、述語等）」、「係り受け関係」、「節（主語＋述語を中心としたまとまり）の種類」、「文の種類（単文、複文等）」等の属性情報を有している。
【００３４】
また、音響的特徴量としては、具体的に発話速度、平均基本周波数、呼気段落の長さのうち少なくとも１つを有している。
【００３５】
これらの言語的特徴量及び音響的特徴量を有することにより、分布関数をより細分化して生成することができる。
【００３６】
＜分布関数データベース１５＞
次に、分布関数データベース１５について、図を用いて説明する。図２は、入力される音声の一例である。また、図３は、図２に対応する分布関数の生成の一例を示す図である。
【００３７】
なお、図２及び図３に示す例では、変換の対象となる音素とその前後の音素、及び対象となる音素が含まれる形態素の品詞の種類で分類分けされている。具体的には、図２は品詞が名詞（ＮＯＵＮ）である「あした［ａｓｈｉｔａ］」について、複数の文章を実際に読み上げられた音声（サンプル音声と文章２１〜２４）等から実際に得られる音素の継続時間長を示している。
【００３８】
また、図３（Ａ）は、前が無音区間［ｐａｕ］であり、後の音素が［ｓｈ］である変換の対象となる音素［ａ］（［ｐａｕ＿ａ＿ｓｈ］）についての分布関数を求める例を示し、図３（Ｂ）は、前の音素が［ａ］であり、後の音素が［ｉ］である変換の対象となる音素［ｓｈ］（［ａ＿ｓｈ＿ｉ］）についての分布関数を求める例を示している。
【００３９】
まず、図３（Ａ）−（ａ）における図２のサンプル音声と文章２１〜２４等に示す各音素について、実際に取り得た音素の継続時間長を求めると図３（Ａ）−（ａ）に示すようになる。なお、図３（ａ）に示す斜線部分は、横軸を継続時間としたときの音素［ａ］の継続時間幅を示している。つまり、音素の出力時間をｔ１とした場合、そのｔ１の前後に時間幅を持たせる。これにより、図３（Ａ）−（ｂ）に示すように、［ｐａｕ＿ａ＿ｓｈ］における音素［ａ］の累積頻度の分布を高精度に取得することができる。なお、図３（Ａ）−（ｂ）において、横軸は継続時間を示し、縦軸は累積頻度を示している。
【００４０】
次に、図３（Ａ）−（ｃ）に示すように、累積頻度を正規化して近似関数を生成する。また、累積分布を求め、その分布の概形を多項式で近似する。なお、図３（ｃ）において、横軸は累積相対度数（存在位置Ｘ）を示し、縦軸は継続時間を示している。また、累積度数の最大値を１とし、また最小値を０として、正規化したものを存在分布関数とする。
【００４１】
また、同様に図３（Ｂ）においても、図３（Ｂ）−（ａ）〜図３（Ｂ）−（ｃ）の手順により、対応する音素［ｓｈ］の分布関数を生成することができる。
【００４２】
これにより、各音素毎の入力データのサンプル数（サンプル音声と文章の数）に依存せずに各音素の条件に対応する継続時間を取得することができる。図３（ｃ）に示される関数を用いて継続時間長の変換を行うことで、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うことができる。
【００４３】
なお、図３に示す分布関数は、ある音素毎に言語解析した結果、発話速度等の実際の発声環境等で複数のカテゴリーに分類し、その音素が取り得た継続時間長の分布を求めるようにする。また、上述した分布関数の生成手法について、上述した例では対象となる音素とその前後の音素を含めた例を示したが、本発明においてはこの限りではなく、例えば、対象となる音素に対するアクセントの有無、モーラ数の数、文頭又は文末にあるか等の情報を付与して分布関数を細分化し、図３（Ａ）、（Ｂ）に示すような分布関数を多数生成することにより、その分布関数を用いて高精度に継続時間長の変換を行うことができる。なお、分布関数を生成する際には正規分布等を適用することもできる。
【００４４】
＜継続時間長生成例１：同一音素同士の継続時間長変換（話速変換）＞
次に、変換前後の音素が同一音素同士の継続時間長の生成例について図を用いて説明する。図４は、同一音素同士の継続時間長の変換例を説明するための入力データの一例を示す図である。また、図５は、図４に対応する分布関数を用いた継続時間長の生成例を示す図である。
【００４５】
なお、図４では、サンプルデータとして、例えば、話速（発話速度）の速い「それでは、」の発声を本実施形態における手法を用いて話速の遅い「それでは、」の発声にさせる変換を行うものとする。また、図５（Ａ）は、前の音素が［ａ］であり、後の音素が［ｅ］である変換の対象となる音素「ｒ」（［ｏ＿ｒ＿ｅ］）についての速い話速と遅い話速とのそれぞれの分布関数の一例を示しており、図５（Ｂ）は、前の音素が「ｗ」であり、後が無音区間「ｐａｕ」である変換の対象となる音素「ａ」（［ｗ＿ａ＿ｐａｕ］）についての速い話速と遅い話速とのそれぞれの分布関数の一例を示している。
【００４６】
まず、図５（Ａ），（Ｂ）等の分布関数を用いて、速い話速（変換前）の存在分布関数から各音素の累積度数上の存在位置Ｘを求める。例えば、図５（Ａ）において、前の音素が［ｏ］であり、後ろの音素が［ｅ］である継続時間長５０ｍｓｅｃの音素［ｒ］の場合、分布関数データベース１５により得られる対応する音素の分布関数により、存在位置Ｘは０．４９となる。また、図５（Ｂ）において、前の音素が［ｗ］であり、後の音素が［ｐａｕ］（無音）である継続時間長５５ｍｓｅｃの音素［ａ］の場合、分布関数データベース１５により得られる対応する音素の分布関数により存在位置Ｘは０．５となる。
【００４７】
次に、遅い話速（変換後）の分布関数において、これらの正規化累積度数である存在位置Ｘの数値を代入して、その存在位置の継続時間長を取得する。つまり、図５（Ａ）によれば、音素［ｒ］は６５ｍｓｅｃとなり、図５（Ｂ）によれば、音素［ａ］は８５ｍｓｅｃとなる。
【００４８】
このように、図４に示す「ｓ＿ｏ＿ｒ＿ｅ＿ｄ＿ｅ＿ｗ＿ａ＿ｐａｕ」（それでは、）について、同様に、分布関数データベース１５に予め蓄積されている分布関数を用いて全音素（無音区間も含む）の継続時間長の変換を行う。これにより、図４に示すように、従来の手法により一律に全ての音素を伸縮するのに対し、本発明の手法により分布関数を用いることで、伸縮しやすい音素を中心として継続時間長の制御を受けることになる。したがって、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うことができる。
【００４９】
＜継続時間長生成例２：異なる音素の継続時間長変換＞
次に、異なる音素同士の継続時間長の変換手法について図を用いて説明する。図６は、異なる音素同士の継続時間長の変換例を説明するための入力データの一例を示す図である。また、図７は、図６に対応する分布関数を用いた継続時間長の生成例を示す図である。
【００５０】
なお、図６では、サンプルデータとして、例えば、データベース中にある「それでは、」の各音素の継続時間長を使って、「いままで、」の各音素の継続時間長に変換する例を示すものでする。また、図７（Ａ）では、前の音素が［ｒ］であり、後の音素が［ｄ］である変換の対象となる音素［ｅ］（［ｒ＿ｅ＿ｄ］）についての分布関数の一例を示し、図７（Ｂ）は、前後の音素が［ｍ］である変換の対象となる音素［ａ］（［ｍ＿ａ＿ｍ］）についての分布関数の一例を示している。
【００５１】
まず、従来の手法では、平均的な「いままで、」の各音素に対する継続時間長を予測するため、単調になったり実際に使いたい話速やリズムと異なることがある。そこで、本発明では、話速や品詞等が同じ環境にあり、変換の対象となる音素やその音素の前後の音素だけが異なる分布関数等を用いて、前後の音素が［ｍ］である音素［ａ］の継続時間長の予測値を求め、この予測値に基づいて異なる音素に基づく継続時間長の変換を行う。
【００５２】
ここで、図７（Ａ）に示すように、基となる文節の音素［ｅ］の継続時間Ｌ１に対する累積相対度数（存在位置）Ｘが、予め設定される標準的な値０．５より小さい０．４であるとする。この場合、図７（Ｂ）に示すように、音素［ａ］の継続時間長も０．５を基準とした標準的な値Ｌａより小さい方が、基となる文節の話速やリズムを再現しやすくなる。つまり、音素［ａ］に対する継続時間長は、従来手法で求まるＬａとは異なりＬ２となる。
【００５３】
このように、異なる音素同士で時間長の変換を行うことができ、これにより、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うことができる。また、対応する音素の分布関数が予め蓄積されていない場合であっても異なる音素の分布関数を用いて音素の変換を高精度に行うことができる。
【００５４】
上述したように、分布関数を使用して音素毎に変換を行うことにより、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うことができる。なお、上述した継続時間長生成例１及び継続時間長生成例２については、組み合わせて用いてもよい。また、上述の実施形態では、変換の対象となる音素の前後の音素を含んだ分布関数を用いて説明したが、本発明においてはこの限りではなく、前の音素又は後の音素のみと組み合わせたり、品詞や係り受けの関係等を組み合わせた分布関数を用いてもよい。
【００５５】
ここで、本発明における継続時間長生成装置１０は、上述した専用の装置構成等を用いて本発明における継続時間長生成処理を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にそのプログラムをインストールすることにより、上述した継続時間長生成処理を実現することができる。
【００５６】
＜ハードウェア構成＞
ここで、本発明における継続時間長生成処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図８は、本発明における継続時間長生成処理が実現可能なハードウェア構成の一例を示す図である。
【００５７】
図８におけるコンピュータ本体には、入力装置８１と、出力装置８２と、ドライブ装置８３と、補助記憶装置８４と、メモリ装置８５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）８６と、ネットワーク接続装置８７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００５８】
入力装置８１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置８２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ（モニタ）を有し、ＣＰＵ８６が有する制御プログラムにより継続時間長生成における実行経過や結果等を表示することができる。
【００５９】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体８８等により提供される。プログラムを記録した記録媒体８８は、ドライブ装置８３にセット可能であり、記録媒体８８に含まれる実行プログラムが、記録媒体８８からドライブ装置８３を介して補助記憶装置８４にインストールされる。
【００６０】
補助記憶装置８４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００６１】
ＣＰＵ８６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置８５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、継続時間長生成処理における各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置８４から取得することができ、また格納することもできる。
【００６２】
ネットワーク接続装置８７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラムを他の端末等に提供することができる。
【００６３】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで上述した継続時間長生成処理を実現することができる。また、プログラムをインストールすることにより、容易に継続時間長生成処理を実現することができる。
【００６４】
次に、実行プログラムにおける処理手順についてフローチャートを用いて説明する。なお、以下に示す処理手順は、継続時間長生成処理としての分布関数を生成するまでの処理手順（分布関数生成）と継続時間長を変換する処理手順（平俗時間長変換手順）とを分けて説明する。
【００６５】
＜継続時間長生成処理手順：分布関数生成＞
図９は、本発明における分布関数生成処理の一例を示すフローチャートである。
【００６６】
まず、分布関数を生成するための音声とその文章とを入力し（Ｓ０１）、入力した文章に対して係り受け関係や単語の品詞、アクセント、統語関係等による言語解析を行う（Ｓ０２）。なお、Ｓ０２においては、上述した言語的特徴の他に入力される音声等から発話速度、平均基本周波数、呼気段落の長さ等の発声環境における音響的な特徴（音響的特徴量）も解析する。
【００６７】
また、Ｓ０２にて得られる言語的特徴量及び音響的特徴量を韻律データベースに蓄積する（Ｓ０３）、また、韻律データベースに蓄積された特徴量に基づいて、分布関数を生成し（Ｓ０４）、その分布関数を分布関数データベースに蓄積する（Ｓ０５）。なお、分布関数は、種々の特徴量毎に細分化した分布関数を生成する。
【００６８】
＜継続時間長生成処理手順：音素の継続時間長生成＞
次に、本発明における音素の継続時間長生成処理についてフローチャートを用いて説明する。図１０は、本発明における音素の継続時間長生成処理手順を示す一例のフローチャートである。なお、図１０は、上述した継続時間長生成例１及び継続時間長生成例２を組み合わせた処理手順について説明するものであるが、本発明においてはこの限りではなく、継続時間長生成例１及び継続時間長生成例２をそれぞれを別個に処理するプログラムであってもよい。
【００６９】
また、処理実行時には、入力される文章をどのように変換するか等の情報（パラメータ）が予め設定されていてもよく、また処理実行時に入力してもよい。
【００７０】
まず、変換前の音声とその文章を入力し（Ｓ１１）、入力した文章に対して係り受け関係や単語の品詞、アクセント、統語関係等による言語解析を行う（Ｓ１２）。なお、Ｓ１２においては、上述した言語的特徴量の他に入力される音声等から発話速度、平均基本周波数、呼気段落の長さ等の発声環境における音響的な特徴量も解析する。
【００７１】
ここで、異なる発話速度（話速）の変換を行うか否かを判断する（Ｓ１３）。異なる発話速度の変換を行う場合（Ｓ１３において、ＹＥＳ）、変換前の発話速度における音素の継続時間長の存在位置（累積相対度数）を変換前の音素に対応する分布関数から取得する（変換前音声解析処理）（Ｓ１４）。
【００７２】
また、Ｓ１４にて得られた変換前の音素の存在位置に基づいて、変換後の継続時間長を変換後の発話速度に対応する分布関数から取得し（Ｓ１５）、その音素に対する継続時間長の変換を行う（継続時間長変換処理）（Ｓ１６）。
【００７３】
次に、Ｓ１６が終了後、又は、異なる発話速度の変換を行わない場合（Ｓ１３において、ＮＯ）、異なる音素への変換を行うか否かを判断する（Ｓ１７）。異なる音素の変換を行う場合（Ｓ１７において、ＹＥＳ）、Ｓ１２により解析された変換前の音素の継続時間長の存在位置を、対応する分布関数から取得する（変換前音声解析処理）（Ｓ１８）。次に、Ｓ１８にて取得した変換前の音素の存在位置から変換後の継続時間長の存在位置を、対応する変換後の音素の分布関数から予測して取得し（Ｓ１９）、その音素及び継続時間長を変換する（継続時間長変換処理）（Ｓ２０）。
【００７４】
次に、Ｓ２０の終了後、又は、異なる音素間の置換を行わない場合（Ｓ１７において、ＮＯ）、生成された継続時間長に基づく音素を出力する（Ｓ２１）。また、上述した処理を入力した全音素（音声）について行うことにより、自然性を残したまま変換を高精度に行い、高精度に生成された合成音声を出力することができる。これにより、全体の音声における韻律パターンを生成し高精度な合成音声を出力することができる。
【００７５】
このように、上述した継続時間長生成プログラムを用いることにより、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うことができる。これにより、全体の音声における韻律パターンを生成し高精度な合成音声を出力することができる。また、特別な装置構成を必要とせず、低コストで継続時間長生成処理を実現することができる。また、プログラムをインストールすることにより、容易に継続時間長生成処理を実現することができる。
【００７６】
上述したように本発明によれば、自然性を残したまま異なる環境への各音素の継続時間長の変換を高精度に行うことができる。これにより、全体の音声における韻律パターンを生成し高精度な合成音声を出力することができる。具体的には、音声合成の対象とする発声環境とは異なる発声環境の音声の一部分の時間長を、音声合成の対象となる発声環境において自然な時間長になるように変換することができる。
【００７７】
本発明を適用することにより、通常の発話速度を高齢者等に対しては、ゆっくりした音声で自然性を残した状態で出力させるようにすることもでき、またユーザの目的に応じて継続時間長を制御することができるため使用性を向上させることができる。
【００７８】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００７９】
【図１】本発明における継続時間長生成装置の一構成例を示す図である。
【図２】入力される音声の一例である。
【図３】図２に対応する分布関数の生成の一例を示す図である。
【図４】同一音素同士の継続時間長の変換例を説明するための入力データの一例を示す図である。
【図５】図４に対応する分布関数を用いた継続時間長の生成例を示す図である。
【図６】異なる音素同士の継続時間長の変換例を説明するための入力データの一例を示す図である。
【図７】図６に対応する分布関数を用いた継続時間長の生成例を示す図である。
【図８】本発明における継続時間長生成処理が実現可能なハードウェア構成の一例を示す図である。
【図９】本発明における分布関数生成処理の一例を示すフローチャートである。
【図１０】本発明における音素の継続時間長生成処理手順を示す一例のフローチャートである。
【符号の説明】
【００８０】
１０  継続時間長生成装置
１１  言語解析手段
１２  変換前音声解析手段
１３  継続時間長変換手段
１４  韻律データベース
１５  分布関数データベース
２１〜２４  サンプル音声と文章
８１  入力装置
８２  出力装置
８３  ドライブ装置
８４  補助記憶装置
８５  メモリ装置
８６  ＣＰＵ
８７  ネットワーク接続装置
８８  記録媒体
【図１】
2006215110.tif 000003
【図２】
2006215110.tif 000004
【図３】
2006215110.tif 000005
【図４】
2006215110.tif 000006
【図５】
2006215110.tif 000007
【図６】
2006215110.tif 000008
【図７】
2006215110.tif 000009
【図８】
2006215110.tif 000010
【図９】
2006215110.tif 000011
【図１０】
2006215110.tif 000012