(57)【要約】【課題】音質劣化が少なく、かつ、多様な発話状態に対応して音声素片の継続時間長を調整することが可能な音声合成システムを提供する。【解決手段】音声合成のために音声素片の時間長を伸張または圧縮する音声合成システム１０であって、音声素片の境界情報を伴った音声素片データベース１１０ａと、音声素片ごとに複数個の状態を持つ統計的手法を用いた音響モデルデータベース１３０とから、各音声素片に対応する音響モデルの各状態ごとに、音声素片データの時間長伸縮に対する頑健性を算出する頑健性計算部１５０と、算出された各状態の頑健性の比に基づいて、音声合成のための音声素片に対して、各状態に対応する音声素片各部の時間長を伸縮するフレーム時間長伸縮率計算部２００等を備える。【選択図】  図１
2004341259.tif 000002
【特許請求の範囲】
【請求項１】
音声合成のために音声素片の時間長を伸張または圧縮する音声素片伸縮装置であって、
音声素片の境界情報を伴った複数の音声素片データと、音声素片ごとに複数個の状態を持つ統計的手法を用いた音響モデルとから、各音声素片に対応する音響モデルの各状態ごとに、音声素片データの時間長伸縮に対する頑健性を算出する頑健性算出手段と、
算出された前記各状態の頑健性の比に基づいて、音声合成のための音声素片に対して、前記各状態に対応する音声素片各部の時間長を伸縮する伸縮手段と
を備えることを特徴とする音声素片伸縮装置。
【請求項２】
前記頑健性算出手段は、前記複数の音声素片データについて、各音声素片に対応する音響モデルの各状態ごとに、時間幅のばらつきを特定し、特定した時間幅のばらつきを前記頑健性として算出する
ことを特徴とする請求項１記載の音声素片伸縮装置。
【請求項３】
前記頑健性算出手段は、前記複数の音声素片データについて、音声素片ごとに、音声素片データを構成する各フレームを前記各状態に対応づけ、各状態に対応づけられたフレーム数の標準偏差を前記頑健性として算出する
ことを特徴とする請求項２記載の音声素片伸縮装置。
【請求項４】
前記頑健性算出手段は、前記各状態に対応づけられたフレーム数の平均を算出し、算出した平均を用いて各状態の音声素片内での相対位置である音素内相対位置を特定し、特定した音素内相対位置と前記頑健性との対を頑健性データとして生成し、
前記伸縮手段は、前記頑健性算出手段によって生成された音素内相対位置と前記頑健性との対から定まる音素内相対位置と頑健性との関係に従って、前記音声素片各部に対応する頑健性を特定し、特定した頑健性に基づいて、前記時間長を伸縮する
ことを特徴とする請求項３記載の音声素片伸縮装置。
【請求項５】
前記音響モデルは、前記音声素片データを用いた学習によって生成されたモデルである
ことを特徴とする請求項１記載の音声素片伸縮装置。
【請求項６】
前記音響モデルは、不特定多数の話者が発生した音声からなる音声素片データを用いて生成されたモデルである
ことを特徴とする請求項１記載の音声素片伸縮装置。
【請求項７】
前記音響モデルは、隠れマルコフモデルである
ことを特徴とする請求項１記載の音声素片伸縮装置。
【請求項８】
前記頑健性算出手段は、前記複数の音声素片データを用いて前記音響モデルを生成する過程における音声素片データごとの遷移系列における前記各状態の停留回数のばらつきを特定し、特定した停留回数のばらつきを前記頑健性として算出する
ことを特徴とする請求項７記載の音声素片伸縮装置。
【請求項９】
前記頑健性算出手段は、前記停留回数の分散を前記頑健性として算出する
ことを特徴とする請求項８記載の音声素片伸縮装置。
【請求項１０】
前記頑健性算出手段は、前記各状態に対応づけられた停留回数の平均を算出し、算出した平均を用いて各状態の音声素片内での相対位置である音素内相対位置を特定し、特定した音素内相対位置と前記頑健性との対を頑健性データとして生成し、
前記伸縮手段は、前記頑健性算出手段によって生成された音素内相対位置と前記頑健性との対から定まる音素内相対位置と頑健性との関係に従って、前記音声素片各部に対応する頑健性を特定し、特定した頑健性に基づいて、前記時間長を伸縮する
ことを特徴とする請求項９記載の音声素片伸縮装置。
【請求項１１】
前記頑健性算出手段は、前記音響モデルを生成する過程における学習信号の各時刻、各状態に至る前向き確率または後ろ向き確率の計算において、学習系列における最尤状態遷移系列を求め、求めた最尤状態遷移系列における前記各状態の停留回数のばらつきを前記頑健性として算出する
ことを特徴とする請求項８記載の音声素片伸縮装置。
【請求項１２】
前記音声素片データの話者と前記音声合成のための音声素片の話者とは同一である
ことを特徴とする請求項１記載の音声素片伸縮装置。
【請求項１３】
前記音声素片データは、前記音声合成のための音声素片を含む
ことを特徴とする請求項１記載の音声素片伸縮装置。
【請求項１４】
前記伸縮手段は、前記頑健性算出手段によって生成された音素内相対位置と前記頑健性との対を複数個用いて補間することで、前記音声素片各部に対応する頑健性を特定する
ことを特徴とする請求項４または１０記載の音声素片伸縮装置。
【請求項１５】
前記伸縮手段は、前記頑健性算出手段によって生成された音素内相対位置と前記頑健性との対を複数個用いて直線補間することで、前記音声素片各部に対応する頑健性を特定する
ことを特徴とする請求項１４記載の音声素片伸縮装置。
【請求項１６】
前記伸縮手段は、前記頑健性算出手段によって生成された音素内相対位置と前記頑健性との対を複数個用いてスプライン関数で補間することで、前記音声素片各部に対応する頑健性を特定する
ことを特徴とする請求項１４記載の音声素片伸縮装置。
【請求項１７】
前記伸縮手段は、前記頑健性算出手段によって生成された音素内相対位置と前記頑健性との対を複数個用いて２次関数または３次関数で近似することで、前記音声素片各部に対応する頑健性を特定する
ことを特徴とする請求項１４記載の音声素片伸縮装置。
【請求項１８】
音声合成のために音声素片の時間長を伸張または圧縮する音声素片伸縮方法であって、
音声素片の境界情報を伴った複数の音声素片データと、音声素片ごとに複数個の状態を持つ統計的手法を用いた音響モデルとから、各音声素片に対応する音響モデルの各状態ごとに、音声素片データの時間長伸縮に対する頑健性を算出する頑健性算出ステップと、
算出された前記各状態の頑健性の比に基づいて、音声合成のための音声素片に対して、前記各状態に対応する音声素片各部の時間長を伸縮する伸縮ステップと
を含むことを特徴とする音声素片伸縮方法。
【請求項１９】
前記頑健性算出ステップでは、前記複数の音声素片データについて、各音声素片に対応する音響モデルの各状態ごとに、時間幅のばらつきを特定し、特定した時間幅のばらつきを前記頑健性として算出する
ことを特徴とする請求項１８記載の音声素片伸縮方法。
【請求項２０】
前記頑健性算出ステップでは、前記複数の音声素片データを用いて前記音響モデルを生成する過程における音声素片データごとの遷移系列における前記各状態の停留回数のばらつきを特定し、特定した停留回数のばらつきを前記頑健性として算出する
ことを特徴とする請求項１８記載の音声素片伸縮方法。
【請求項２１】
音声合成のために音声素片の時間長を伸張または圧縮する音声素片伸縮装置のためのプログラムであって、
請求項１〜１７のいずれか１項に記載の音声素片伸縮装置が備える手段としてコンピュータを機能させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、規則合成方式による音声合成に関し、特に、音声素片の継続時間長を制御する音声素片伸縮方法に関する。
【０００２】
【従来の技術】
機械的な方法等でテキストデータから人工的に音声を生成し出力する音声合成の一つの方法として、「あ」や「い」等の音声素片（以下、素片ともいう。）にイントネーションやアクセント等の韻律情報を与え、さまざまな合成規則を用いて音声を生成する規則合成方式がある。規則合成方式においては、外部から与えられる、あるいは韻律制御手段で生成された音韻毎に設定された継続時間長に合わせて、音声素片の継続時間長を制御する必要がある。自然音声では、発話の速度、意味内容、前後の音韻などの影響で、音韻の継続時間長が様々に変化しているので、自然音声に近い高品質な音声を合成するためには、任意の継続時間長の音声を合成器によって合成することが可能でなければならない。
【０００３】
規則合成方式の音声合成における音声素片の継続時間長に関する制御方式として、従来、１音韻内で素片の波形をピッチに同期して均一な割合で間引き、繰り返しを行う、あるいは、一定時間長のフレームを均一な割合で間引き、繰り返しを行う、あるいは、フレーム時間長を均一な割合で伸縮する等の制御方式がある。これによって、基本時間長の音声素片から、任意の継続時間長の音声素片を生成するというものである。
【０００４】
また、素片フレームの時間位置と生成しようとするフレームの時間位置との関係をマッピング関数として設定することで、素片内の時間伸縮の影響を受けにくい部分でフレーム時間長を伸縮する方式も提案されている（たとえば、特許文献１参照）。これによって、より自然で任意の継続時間長の音声素片を生成するというものである。
【０００５】
【特許文献１】
特開平１０−９１１９１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、均一な割合での間引きや繰り返し、あるいはフレーム長の伸縮を行う上記従来の方式は、音素境界近傍の渡り情報のように、時間あたりの変化量が音韻知覚のための重要な情報となっている部分における時間あたりの変化量を変えることになり、音質を大きく劣化させる。例えば、図１４（ａ）に示されるような「おんそ（音素）」という標準の音声パターン（ここでは、基本周波数の時間変化）の継続時間長を均一に伸張することによって、図１４（ｂ）に示される音声パターンを生成するが、音素境界近傍９０ａおよびｂ、９１ａおよびｂにおける時間あたりの変化量が変化してしまうために、音素境界近傍の渡り情報が異なるものとなってしまい、不自然な音声が生成されてしまう。
【０００７】
一方、上記特許文献１に開示された方式では、マッピング関数を用いて音声素片の継続時間長を制御しているために、図１４（ｃ）に示されるように、音素境界近傍９２ａおよびｂにおける時間あたりの変化量を変えることなく継続時間長を伸張しているものの、そのマッピング関数の生成方式については自動化されることなく、経験的に探り当てられているために、多様な発話状態に対応することができないという問題がある。つまり、音声の変化パターンは、音声の状態や発話様態、話者の個人特性等により異なるため、少なくとも素片データベースごとにマッピング関数を生成する必要があるが、上記特許文献１の方式は、そのような多様なマッピング関数を生成する機能を有していないために、多様な発話状態に対応することができず、例えば、２０歳代の女性の音声だけについての音声合成を行う等の特定種類の音声合成にしか適用することができないという課題を有している。
【０００８】
そこで、本発明は、上記の課題に鑑み、音質劣化が少なく、かつ、多様な発話状態に対応して音声素片の継続時間長を調整することが可能な音声素片伸縮装置等を提供することを目的とする。つまり、時間長調整による音質劣化が少なく、かつ、時間長調整に用いるマッピング関数を生成するための素片データベースの作成作業が軽減される音声素片伸縮装置等を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、本発明にかかる音声素片伸縮装置は、音声合成のために音声素片の時間長を伸張または圧縮する音声素片伸縮装置であって、音声素片の境界情報を伴った複数の音声素片データと、音声素片ごとに複数個の状態を持つ統計的手法を用いた音響モデルとから、各音声素片に対応する音響モデルの各状態ごとに、音声素片データの時間長伸縮に対する頑健性を算出する頑健性算出手段と、算出された前記各状態の頑健性の比に基づいて、音声合成のための音声素片に対して、前記各状態に対応する音声素片各部の時間長を伸縮する伸縮手段とを備えることを特徴とする。
【００１０】
これによって、音声素片に対応する音響モデルの各状態ごとに、時間長伸縮に対する頑健性が算出され、音声合成時においては、その頑健性の比に基づいて、音声素片各部の時間長が伸縮されるので、例えば、音声素片内で頑健性が高い箇所の伸縮率を大きく、頑健性が低い箇所の伸縮率を小さくするように伸縮率を設定することで、音素境界のような音韻知覚上重要な箇所での時間当たりの変化量を変えることなく音声素片の時間長を伸縮することができ、時間長伸縮による音質劣化が回避される。また、そのような頑健性の情報は、音声素片データと音響モデルとから生成されるので、準備された音声素片データに最適な時間長伸縮が可能になるとともに、時間長伸縮に用いるマッピング関数の作成作業が自動化される。
【００１１】
ここで、前記頑健性算出手段は、前記複数の音声素片データについて、各音声素片に対応する音響モデルの各状態ごとに、時間幅のばらつきを特定し、特定した時間幅のばらつきを前記頑健性として算出してもよい。具体的には、前記頑健性算出手段は、前記複数の音声素片データについて、音声素片ごとに、音声素片データを構成する各フレームを前記各状態に対応づけ、各状態に対応づけられたフレーム数の標準偏差を前記頑健性として算出してもよい。なお、前記頑健性算出手段は、前記各状態に対応づけられたフレーム数の平均を算出し、算出した平均を用いて各状態の音声素片内での相対位置である音素内相対位置を特定し、特定した音素内相対位置と前記頑健性との対を頑健性データとして生成し、前記伸縮手段は、前記頑健性算出手段によって生成された音素内相対位置と前記頑健性との対から定まる音素内相対位置と頑健性との関係に従って、前記音声素片各部に対応する頑健性を特定し、特定した頑健性に基づいて、前記時間長を伸縮するのが好ましい。
【００１２】
これによって、音声素片に対応する音響モデルの状態ごとに、複数の音声素片データにおける時間幅のばらつきが頑健性として特定されるので、音響モデルの各状態に対応する時間幅のばらつきに対応した時間長伸縮が行われ、音声素片の時間長伸縮に伴う音質劣化が抑制される。なお、音素内相対位置は、例えば、音声素片の先頭からの時間位置（相対時間位置）である。
【００１３】
また、前記音響モデルは、前記音声素片データを用いた学習によって生成されたモデルであってもよいし、前記音響モデルは、不特定多数の話者が発生した音声からなる音声素片データを用いて生成されたモデルであってもよい。これによって、特定の話者に絞った最適な音声素片の時間長伸縮を行ったり、特定の話者の音声素片データと汎用の音響モデルとの組み合わせに基づく音声素片の時間長伸縮を行ったりすることができる。
【００１４】
また、前記音響モデルは、隠れマルコフモデルとし、前記頑健性算出手段は、前記複数の音声素片データを用いて前記音響モデルを生成する過程における音声素片データごとの遷移系列における前記各状態の停留回数のばらつきを特定し、特定した停留回数のばらつきを前記頑健性として算出してもよい。具体的には、前記頑健性算出手段は、前記停留回数の分散を前記頑健性として算出してもよい。
【００１５】
このとき、前記頑健性算出手段は、前記音響モデルを生成する過程における学習信号の各時刻、各状態に至る前向き確率または後ろ向き確率の計算において、学習系列における最尤状態遷移系列を求め、求めた最尤状態遷移系列における前記各状態の停留回数のばらつきを前記頑健性として算出してもよい。なお、前記頑健性算出手段は、前記各状態に対応づけられた停留回数の平均を算出し、算出した平均を用いて各状態の音声素片内での相対位置である音素内相対位置を特定し、特定した音素内相対位置と前記頑健性との対を頑健性データとして生成し、前記伸縮手段は、前記頑健性算出手段によって生成された音素内相対位置と前記頑健性との対から定まる音素内相対位置と頑健性との関係に従って、前記音声素片各部に対応する頑健性を特定し、特定した頑健性に基づいて、前記時間長を伸縮するのが好ましい。
【００１６】
これによって、音声素片ごとに、音響モデルを生成する過程における遷移系列の各状態での停留回数のばらつきが頑健性として特定されるので、各状態における停留回数のばらつきに対応した時間長伸縮が行われ、音声素片の時間長伸縮に伴う音質劣化が抑制される。
【００１７】
また、前記音声素片データの話者と前記音声合成のための音声素片の話者とを同一にしたり、前記音声素片データに前記音声合成のための音声素片を含ませてもよい。これによって、頑健性を算出するために用いられる音声素片データと音声合成に用いられる音声素片データとが関連づけられ、音声素片の時間長伸縮に伴う音質劣化が更に抑制され得る。
【００１８】
また、前記伸縮手段は、前記頑健性算出手段によって生成された音素内相対位置と前記頑健性との対を複数個用いて補間することで、前記音声素片各部に対応する頑健性を特定してもよい。具体的には、直線補間、スプライン補間、２次関数または３次関数による近似によって、音声素片各部の頑健性を特定し、伸縮率を決定すればよい。
【００１９】
なお、本発明は、以上のような音声素片伸縮装置として実現することができるだけでなく、その手段をステップとする音声素片伸縮方法として実現したり、音声素片伸縮装置としてコンピュータを機能させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１における音声合成システム１０の構成を示す機能ブロック図である。この音声合成システム１０は、音素内の相対時間位置に対する時間長伸縮に対する頑健性を予め算出しておき、その頑健性に基づいて音声合成を行うシステムであり、オフラインで学習を行うことによって頑健性を算出するオフライン処理装置１０ａと、算出された頑健性のデータを用いてテキストデータから音声合成を行う音声合成装置１０ｂとから構成される。なお、「時間長伸縮における頑健性」とは、音声素片の継続時間長を伸縮した場合における音質劣化の生じにくさをいい、「頑健性が高い」とは、その音声素片の継続時間長を伸縮しても音質劣化が生じにくいことを意味する。
【００２２】
オフライン処理装置１０ａは、コンピュータ上で実行されるプログラム等で実現される３つの処理部（音響モデル学習部１２０、マッチング部１４０および頑健性計算部１５０）とデータが格納されたハードディスク等で実現される２つのデータベース（音声素片データベース１１０ａおよび音響モデルデータベース１３０）とから構成される。
【００２３】
音声素片データベース１１０ａは、音素境界がラベルされた音声データ（発音記号列、基本周波数、音声強度、音素時間長等を含む素片データの集まり）を格納しているデータベースである。音響モデル学習部１２０は、音声素片データベース１１０ａに格納された音声データに基づいて、ＨＭＭ（隠れマルコフモデル）の学習を行うことにより、音素ごとの音響モデルを作成し、音響モデルデータベース１３０に格納する。音響モデルデータベース１３０は、音響モデル学習部１２０より出力された音素ごとの音響モデルを格納する補助記憶部である。
【００２４】
マッチング部１４０は、音響モデルデータベース１３０に格納された学習が完了した音響モデルと音声素片データベース１１０ａから抽出した素片データとを比較し、ＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）マッチングを行うことで、音声素片データベース１１０ａに格納された素片データごとに、素片データを構成するフレームと学習モデルを構成する状態との対応関係を特定し、特定した対応関係を頑健性計算部１５０に通知する。
【００２５】
頑健性計算部１５０は、マッチング部１４０が出力する素片中の各フレームと音響モデルの状態との対応関係を示す情報を音響モデルごとに集計することで、音素内相対時間位置における時間長伸縮に対する頑健性を算出し、算出した頑健性を音声合成装置１０ｂに出力する。
【００２６】
一方、音声合成装置１０ｂは、コンピュータ上で実行されるプログラム等で実現される６つの処理部（言語処理部１６０、韻律生成部１７０、素片選択部１８０、フレーム時間長伸縮率計算部２００、フレーム変形部２１０および波形生成部２２０）とデータが格納されたハードディスク等で実現される２つのデータベース（頑健性データベース１９０および音声素片データベース１１０ｂ）とから構成される。
【００２７】
言語処理部１６０は、入力されたテキストデータの言語解析を行い、形態素や構文等の言語情報と音素列等の読み情報を生成する。韻律生成部１７０は、言語処理部１６０より出力された言語情報と読み情報に基づいて、合成音声の韻律を決定し、基本周波数、パワー、リズム等韻律情報を生成する。音声素片データベース１１０ｂは、波形を生成する際の処理単位で実音声から生成された音声合成パラメータを保持するデータベースである。素片選択部１８０は、韻律生成部１７０から出力された韻律情報と言語情報、読み情報に基づいて、音声素片データベース１１０ｂより最適な音声素片を選択する。
【００２８】
頑健性データベース１９０は、オフライン処理装置１０ａ（の頑健性計算部１５０）から出力された頑健性データ、つまり、音声素片の種類ごとの音素内相対時間位置における時間長伸縮に対する頑健性を示すデータを記憶するデータベースである。フレーム時間長伸縮率計算部２００は、頑健性データベース１９０内のデータに基づいて素片の処理単位であるフレームごとに時間長の伸縮率を算出する。フレーム変形部２１０は、フレーム時間長伸縮率計算部２００で計算された伸縮率に基づいて、素片選択部１８０で選択された音声素片の各フレームの時間長を伸縮させる。波形生成部２２０は、フレーム変形部２１０で伸縮された各フレームを接続し、フレーム毎のパラメータに基づいて信号処理を行うことで、音声波形を生成する。
【００２９】
次に、以上のように構成された本実施の形態１における音声合成システム１０の動作を説明する。
図２は、音声合成システム１０のオフライン処理装置１０ａの動作手順を示すフローチャートである。図３および図４は、その動作を説明するための図である。
【００３０】
まず、音響モデル学習部１２０は、音声素片データベース１１０ａに蓄積された音素境界がラベルされた音声データを学習データとして、ＨＭＭを用いた１音素６状態での音響モデルを音素ごとに生成し（Ｓ１０１）、得られたＨＭＭパラメータを音響モデルとして音響モデルデータベース１３０に記録する。
【００３１】
次に、マッチング部１４０は、ＤＰマッチングの手法を用いて音声素片データベース１１０ａ内のすべての音素について、音響モデルデータベース１３０に記録された音響モデルのうち対応する音素の６状態を抽出し、各音響モデルに素片データをマッチングさせることで、素片の各フレームと音響モデルの６つの状態との対応関係を特定する（Ｓ１０２）。図３には、その対応関係の例が示されている。ここでは、素片Ａフレーム列では、状態１が最初の２フレームに対応し、状態２が続く３フレームに対応し、状態３が続く３フレームに対応し、状態４が続く３フレームに対応し、状態５が続く３フレームに対応し、同様にして、素片Ｂフレーム列、素片Ｃフレーム列、素片Ｄフレーム列についても音響モデルの６つの状態とフレームとの対応関係が特定されている。
【００３２】
次に、頑健性計算部１５０は、上記ステップＳ１０２で特定された音素ごとの対応関係を蓄積し、音素ごとに、６つの状態それぞれに対応付けられたフレームを集計することで、フレーム数の平均および標準偏差を算出する（Ｓ１０３）。図３には、状態１〜４について、フレーム数の平均および標準偏差として、それぞれ、２および０、３．２５および０．５０、３．０および０．８２、２．５および１．２９が算出されている。
【００３３】
続いて、頑健性計算部１５０は、上記ステップＳ１０３で求めたフレーム数の平均より、各状態の中心時間位置を音素先頭からのフレーム位置として求めることで、音素全体の時間長に対する各状態の音素内相対位置を決定する（Ｓ１０４）。具体的には、以下の式に従って、各状態の音素内相対位置を算出する。
【００３４】
ｉ番目の状態の平均フレーム数  Ｆｉ
ｊ番目の状態の平均フレーム数  Ｆｊ
音素先頭からのフレーム数で表したｉ番目の状態の中心時間位置  Ｃｉ
ｉ番目の状態の音素内相対位置  ｐｉ
とした場合に、
【００３５】
【数１】
2004341259.tif 000003
【００３６】
図４は、図３に示されたフレーム数平均について、音響モデルの各状態の音素内相対位置を算出した例を示している。なお、この例では、音素内フレーム数平均（全ての状態のフレーム数平均の合計）が１８として算出されている。
そして、頑健性計算部１５０は、各状態に対応付けられたフレーム数の標準偏差を状態の音素内相対位置における時間長伸縮に対する頑健性として対応づけ、これらの頑健性データ（音素内相対位置と頑健性との対からなるマッピング関数）を音声合成装置１０ｂの頑健性データベース１９０に記録する（Ｓ１０５）。
【００３７】
図５は、音声合成システム１０の音声合成装置１０ｂの動作手順を示すフローチャートである。音声合成装置１０ｂに入力されたテキストデータはまず、言語処理部１６０で形態素解析、構文解析がなされ、音韻列、アクセント、区切り等の読み情報および、品詞、活用等の形態素情報、文節係り受け、構文構造等の構文情報が生成される（Ｓ１１１）。次に、韻律生成部１７０は言語処理部１６０で生成された読み情報、形態素情報、構文情報に基づき、音韻列に対応付けられた基本周波数、音声強度、音素継続時間長等の韻律情報を生成する（Ｓ１１２）。
【００３８】
続いて、素片選択部１８０は言語処理部１６０で生成された読み情報、形態素情報、構文情報さらに、韻律生成部１７０で生成された韻律情報を素片選択コストとして用いて、音声素片データベース１１０ｂより合成しようとする音声の音韻列に対応した音声素片を音素単位で抽出し、音韻列に対応付けられた音声素片テーブルを生成する（Ｓ１１３）。
【００３９】
そして、フレーム時間長伸縮率計算部２００は韻律生成部１７０により生成された音素継続時間長と素片選択部１８０により音声素片データベース１１０ｂから抽出された音声素片テーブルの音素ごとの継続時間長とを比較し、頑健性データベース１９０に記録された、対象の音素に対応する音素内相対位置における時間長伸縮に対する頑健性を参照し、素片の各フレームの中心時間位置での時間長伸縮に対する頑健性を取得する（Ｓ１１４）。このとき、各フレームの中心時間位置に対応する頑健性が頑健性データベース１９０に記録されていない場合には、頑健性データベース１９０に記録されている頑健性データ（音素内相対時間位置と頑健性との組）をスプライン補間することによって、その頑健性を求める。図６は、頑健性データベース１９０に記録されている頑健性データ（グラフ上の点）をスプライン補間することによって、素片の各フレームの中心時間位置での頑健性を求める例を示す図である。
【００４０】
このようにして各フレームの頑健性を特定した後に、フレーム時間長伸縮率計算部２００は、各フレームの頑健性に応じて、各音声素片の音素時間長が韻律生成部１７０により生成された音素継続時間長と等しくなるよう、各フレームの時間長を計算する（Ｓ１１５）。その際、時間長伸縮に対する頑健性が高いフレームの伸縮率を高くし、頑健性の低いフレームの伸縮率が低くなるように、以下の式に従って生成する合成音のフレーム時間長を決定する。
【００４１】
【数２】
2004341259.tif 000004
【００４２】
とした場合に、頑健性ｒｉに応じた伸縮率（生成する合成音のフレーム時間長と素片のフレーム時間長の比）は以下のように表される。
【００４３】
【数３】
2004341259.tif 000005
【００４４】
素片のフレーム時間長は一定であるため、
【００４５】
【数４】
2004341259.tif 000006
【００４６】
生成する合成音の音素時間長はフレーム時間長の和であることから、上記の式に当てはめることにより合成しようとする音声のフレーム時間長は以下のように表すことができる。
【００４７】
【数５】
2004341259.tif 000007
【００４８】
続いて、フレーム変形部２１０は、素片フレームを、上記式で求められたフレーム時間長に伸縮し、基本周波数、音声強度をステップＳ１１２で設定された値を当てはめ、合成処理フレームごとの合成パラメータを生成する（Ｓ１１６）。最後に、波形生成部２２０は、ステップＳ１６０でフレーム変形部２１０より出力された合成パラメータを参照して音声波形を生成する（Ｓ１１７）。
【００４９】
以上のように、本実施の形態１における音声素片伸縮方法により、ＨＭＭモデルの各状態にマッチングされたフレーム数の標準偏差を時間長伸縮に対する頑健性とし、素片内で頑健性が高いフレームの伸縮率を大きく、頑健性が低いフレームの伸縮率を小さくするように伸縮率を設定することで、ＨＭＭモデルの各状態におけるフレーム数のばらつきの大きい箇所がより大きな時間長伸縮が行われることとなり、これによって、時間長調整による音質劣化を防ぎ、より少ない音声素片データで高い音質の合成音声を生成することが可能になる。また、時間長伸縮に対する頑健性を自動生成することにより、与えられた素片データベースに最適な時間長伸縮が可能になるとともに、時間長伸縮関数の作成作業が軽減される。
【００５０】
つまり、本実施の形態１における音声素片伸縮方法によって、図１４（ａ）に示された音声素片は、図１４（ｃ）に示されるように、音韻知覚のための重要な情報となる音素境界近傍９２ａおよびｂにおける時間あたりの変化量を維持した状態で音声素片の継続時間長が伸張されるとともに、そのためのマッピング関数が自動生成されるので、音声劣化が少なく、かつ、多様な発話状態に対応した音声合成の自動化が可能となる。
【００５１】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
図７は、本発明の実施の形態２における音声合成システムの構成を示す機能ブロック図である。この音声合成システム２０は、不特定話者の音響モデルを用いて音声合成を行うシステムであり、オフライン処理で音素内の相対時間位置に対する時間長伸縮に対する頑健性を算出するオフライン処理装置２０ａと、算出された頑健性のデータを用いて音声合成を行う音声合成装置１０ｂとから構成され、オフライン処理装置２０ａの不特定話者音響モデルデータベース３３０とマッチング部３４０を除いて、実施の形態１における音声合成システム１０と同様の構成を備える。以下、同一の構成要素には同一の符号を付し、その説明を省略する。
【００５２】
不特定話者音響モデルデータベース３３０は、あらかじめ学習されたＨＭＭに基づく不特定話者用の音響モデルのパラメータを格納した不特定話者音響モデルデータベースである。マッチング部３４０は、不特定話者音響モデルデータベース３３０より抽出した音響モデルと音声素片データベース１１０ａから抽出した素片データとを比較しＤＰマッチングを行って素片データの各フレームと音響モデルとをマッチングするマッチング部である。
【００５３】
実施の形態１では、音声素片データベース１１０ａと、その音声素片データベース１１０ａから学習された音響モデルデータベース１３０とに基づいて頑健性が算出されたのに対し、本実施の形態２では、音声素片データベース１１０ａと、あらかじめ学習されたＨＭＭに基づく不特定話者音響モデルデータベース３３０に基づいて頑健性が算出される点で異なる。
【００５４】
次に、以上のように構成された本実施の形態２における音声合成システム２０の動作を説明する。
図８は、音声合成システム２０のオフライン処理装置２０ａの動作手順を示すフローチャートである。まず、マッチング部３４０は、ＤＰマッチングの手法を用いて音声素片データベース１１０ａ内のすべての音素について、不特定話者音響モデルデータベース３３０に記録された音響モデルのうち対応する音素の６状態を抽出して、各音響モデルに素片データをマッチングし、素片の各フレームと音響モデルの６つの状態との対応をつける（Ｓ３０２）。以下、実施の形態１と同様にして、頑健性計算部１５０は、音響モデルと素片データのフレームとの対応を音素ごとに蓄積し、音素ごとに、６つの状態それぞれに対応付けられたフレームの数を集計し、各状態に対応付けられたフレーム数の平均と標準偏差を求め（Ｓ１０３）、さらに各状態の音素全体の時間長に対する各状態の相対位置を決定し（Ｓ１０４）、ステップＳ１０３で求めたフレーム数の標準偏差を音素内相対位置における時間長伸縮に対する頑健性として対応づけ、これらの頑健性データ（音素内相対位置と頑健性との対からなるマッピング関数）を音声合成装置１０ｂの頑健性データベース１９０に記録する（Ｓ１０５）。
【００５５】
一方、音声合成装置１０ｂは、実施の形態１と同様に、言語処理、韻律生成、素片選択を行い、頑健性データベース１９０に格納された時間長伸縮に対する頑健性に従って合成する音声のフレーム長を設定し、フレームの時間長、基本周波数、音声強度等を変形した合成パラメータに従って波形生成を行う。
【００５６】
以上のように、本実施の形態２における音声素片伸縮方法により、音声素片データベース１１０ａと不特定話者音響モデルデータベース３３０に基づいて、実施の形態１と同様に、ＨＭＭモデルの各状態にマッチングされたフレーム数の標準偏差を時間長伸縮に対する頑健性とし、素片内で頑健性が高いフレームの伸縮率を大きく、頑健性が低いフレームの伸縮率を小さくするように伸縮率を設定することで、ＨＭＭモデルの各状態におけるフレーム数のばらつきの大きい箇所がより大きな時間長伸縮が行われることとなり、これによって、時間長調整による音質劣化を防ぎ、より少ない音声素片データで高い音質の合成音声を生成することが可能になる。また、時間長伸縮に対する頑健性を汎用の不特定話者音響モデルを用いて自動生成することにより、音素ごとに最適な時間長伸縮関数を作成する作業がいっそう軽減される。
【００５７】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
図９は、本発明の実施の形態３における音声合成システム３０の構成を示す機能ブロック図である。この音声合成システム３０は、ＨＭＭ音響モデルの学習過程における遷移系列から音声素片の頑健性データを生成する点に特徴を有し、オフラインで学習を行うとともに音素内の相対時間位置に対する時間長伸縮に対する頑健性を算出するオフライン処理装置３０ａと、算出された頑健性のデータを用いて音声合成を行う音声合成装置１０ｂとから構成され、オフライン処理装置３０ａの音響モデル学習部４２０、遷移系列記録部４３０、停留回数計算部４４０および頑健性計算部４５０を除いて、実施の形態１における音声合成システム１０と同様の構成を備える。以下、同一の構成要素には同一の符号を付し、その説明を省略する。
【００５８】
音響モデル学習部４２０は音素ごとのＨＭＭ音響モデルを作成する音響モデル学習部である。遷移系列記録部４３０は音響モデル学習部４２０より素片ごとに出力された、信号系列に対する遷移系列を記録する遷移系列記録部である。停留回数計算部４４０は遷移系列記録部４３０に記録された遷移系列データより、各音素の状態ごとの停留回数を計算する停留回数計算部である。頑健性計算部４５０は停留回数計算部４４０から出力された素片ごとの停留回数の平均と分散より音素内相対時間位置に対する時間長伸縮に対する頑健さを算出する。
【００５９】
次に、以上のように構成された本実施の形態３における音声合成システム３０の動作を説明する。
図１０は、音声合成システム２０のオフライン処理装置３０ａの動作手順を示すフローチャートである。図１１は、その動作手順を説明するための図である。
【００６０】
まず、音響モデル学習部４２０は、音声素片データベース１１０ａに蓄積された音素境界がラベルされた音声データを学習データとして、ＨＭＭを用いた１音素５状態の音響モデルを音素ごとに学習し（Ｓ４０１）、これによって得られた学習データごとの遷移系列データを遷移系列記録部４３０に格納する。具体的には、ＨＭＭの学習過程は、図１１に示されるように、Ｌ種類の信号系列集合Φ＝（Ｏｌ｜１≦ｌ≦Ｌ）からなる信号系列集合が与えられ、開始状態Ｓ０から終了状態ＳＥまで、Ｎ＋１回の状態遷移によって出力される信号系列Ｏｌに関するパラメタ学習をｆｏｒｗａｒｄ・ｂａｃｋｗａｒｄアルゴリズムを用いるＢａｕｍ−Ｗｅｌｃｈのアルゴリズムによって行う。図１１では、開始状態、終了状態を含む５状態によって形成される、隠れマルコフモデルの学習過程の模式図が示されている。
【００６１】
次に、停留回数計算部４４０は各音素について、ＨＭＭの状態ごとの停留回数を集計し、状態ごとの停留回数の平均と分散を求める（Ｓ４０２）。具体的には、図１１に示される各格子点（ｎ，ｉ｜０≦ｎ≦Ｎ＋１，０≦ｉ≦Ｅ）での前向き確率α（ｎ，ｉ）と後ろ向き確率Ｂ（ｎ，ｉ）に加え、Ｖｉｔｅｒｂｉアルゴリズムによる状態遷移系列の計算と同様の方法で求められるバックポインタと、最尤状態遷移系列上での各状態の停留回数を求める。即ち、時刻ｎにおける状態ｉへの遷移の中で、最も確率の高い遷移元の状態番号を記憶するバックポインタＢ（ｎ，ｉ）を用いて、信号系列Ｏｌに対する、時刻ｎおよび状態ｉへの最尤遷移系列上での、時刻０からの状態ｊへの延べ停留回数Ｔ（ｎ，ｉ，ｊ）を以下のように漸化的に求める。
（１）初期遷移
１≦ｉ＜Ｅ、０≦ｊ＜Ｅについて、
Ｔ（１，ｉ，ｊ）＝０
（２）漸化計算式
１≦ｎ≦Ｎ、１≦ｉ＜Ｅ、０≦ｊ＜Ｅについて、
Ｔ（ｎ，ｉ，ｊ）＝Ｔ（ｎ−１，Ｂ（ｎ，ｉ），ｊ）  ｉｆ（Ｂ（ｎ，ｉ）≠ｊ）
Ｔ（ｎ，ｉ，ｊ）＝Ｔ（ｎ−１，Ｂ（ｎ，ｉ），ｊ）＋１  ｉｆ（Ｂ（ｎ，ｉ）＝ｊ）
（３）最終遷移
０≦ｊ＜Ｅ−１について、
Ｔ（Ｎ＋１，Ｅ，ｊ）＝Ｔ（Ｎ，Ｂ（Ｎ＋１，Ｅ），ｊ）  ｉｆ（Ｂ（Ｎ＋１，Ｅ）≠ｊ）
Ｔ（Ｎ＋１，Ｅ，ｊ）＝Ｔ（Ｎ，Ｂ（Ｎ＋１，Ｅ），ｊ）＋１  ｉｆ（Ｂ（Ｎ＋１，Ｅ）＝ｊ）
以上の計算により、信号系列に関する最尤状態遷移系列上での各状態ｊ（０≦ｊ＜Ｅ）の延べ停留回数Ｔｌ（ｊ）が、Ｔｌ（ｊ）＝Ｔ（Ｎ＋１，Ｅ，ｊ）として得られる。
【００６２】
信号系列集合Φ＝（Ｏｌ｜１≦ｌ≦Ｌ）の各信号系列Ｏｌの最尤状態遷移系列における各状態ｊの延べ停留回数Ｔｌ（ｊ）を計算した上で、延べ停留回数の平均値μｊと分散σｊ２は、Ｂａｕｍ−Ｗｅｌｃｈのアルゴリズムによって求められたモデルＭにおいて信号系列Ｏｌが最尤状態遷移系列Ｓｌに沿って出力される確率Ｐ（Ｏｌ，Ｓｌ｜Ｍ）を用いて、以下のように求められる。
【００６３】
【数６】
2004341259.tif 000008
【００６４】
また、簡単のため、モデルＭにおいて信号系列Ｏｌが出力される確率Ｐ（Ｏｌ｜Ｍ）を利用し、μｊおよびσｊ２の代わりとして以下の値を使っても良い。
【００６５】
【数７】
2004341259.tif 000009
【００６６】
頑健性計算部４５０はステップＳ４０２で計算された状態ごとの停留回数の平均を用いて、実施の形態１のステップＳ１０４と同様にして音素内相対時間位置を決定し（Ｓ４０３）、ステップＳ４０２で計算された状態ごとの停留回数の分散を音素内相対時間位置における時間長伸縮に対する頑健性として対応づけ、これらの頑健性データ（音素内相対位置と頑健性との対からなるマッピング関数）を音声合成装置１０ｂの頑健性データベース１９０に記録する（Ｓ４０４）。
【００６７】
一方、音声合成装置１０ｂは、実施の形態１と同様に言語処理、韻律生成、素片選択を行い、頑健性データベース１９０に格納された時間長伸縮に対する頑健性に従って合成する音声のフレーム長を設定し、フレームの時間長、基本周波数、音声強度等を変形した合成パラメータに従って波形生成を行う。
【００６８】
以上のように、本実施の形態３における音声素片伸縮方法により、ＨＭＭモデルの学習過程で求められた各状態での停留回数の分散を時間長伸縮に対する頑健性とし、素片内で頑健性が高いフレームの伸縮率を大きく、頑健性が低いフレームの伸縮率を小さくするように伸縮率を設定することで、ＨＭＭモデルの各状態における停留回数のばらつきの大きい箇所がより大きな時間長伸縮が行われることとなり、これによって、時間長調整による音質劣化を防ぎ、より少ない音声素片データで高い音質の合成音声を生成することが可能になる。また、時間長伸縮に対する頑健性をＨＭＭ学習過程から自動生成することにより、個々の素片データベースに最適な時間長伸縮関数が作成され、その作成作業がいっそう軽減される。
【００６９】
（実施の形態４）
次に、本発明の実施の形態４について説明する。
図１２は、本発明の実施の形態４における音声合成システム４０の構成を示す機能ブロック図である。この音声合成システム４０は、ＨＭＭ音響モデルの学習過程における遷移系列から音声素片の頑健性データを生成する点に特徴を有し、オフラインで学習を行うとともに音素内の相対時間位置に対する時間長伸縮に対する頑健性を算出するオフライン処理装置４０ａと、算出された頑健性のデータを用いて音声合成を行う音声合成装置１０ｂとから構成され、オフライン処理装置４０ａの停留回数計算部５４０を除いて、実施の形態３における音声合成システム３０と同様の構成を備える。以下、同一の構成要素には同一の符号を付し、その説明を省略する。
【００７０】
停留回数計算部５４０は遷移系列記録部４３０に記録された遷移系列データより、各音素の状態ごとの停留回数を計算する停留回数計算部であり、状態間の遷移確率と各状態における出力確率とを用いて停留回数を計算する点で、Ｖｉｔｅｒｂｉアルゴリズムに基づくバックポインタＢ（ｎ，ｉ）を用いて停留回数を計算した実施の形態３における停留回数計算部４４０と異なる。
【００７１】
次に、以上のように構成された本実施の形態４における音声合成システム４０の動作を説明する。
図１３は、音声合成システム４０のオフライン処理装置４０ａの動作手順を示すフローチャートである。まず、音響モデル学習部４２０は、実施の形態３と同様にして、音声素片データベース１１０ａに蓄積された音素境界がラベルされた音声データを学習データとして、ＨＭＭを用いた１音素５状態の音響モデルを音素ごとに学習し（Ｓ４０１）、これによって得られた、学習データごとの遷移系列データを遷移系列記録部４３０に格納する。つまり、ＨＭＭの学習過程は、図１１に示されるように、Ｌ種類の信号系列集合Φ＝（Ｏｌ｜１≦ｌ≦Ｌ）からなる信号系列集合が与えられ、開始状態Ｓ０から終了状態ＳＥまで、Ｎ＋１回の状態遷移によって出力される信号系列Ｏｌに関するパラメタ学習をｆｏｒｗａｒｄ・ｂａｃｋｗａｒｄアルゴリズムを用いるＢａｕｍ−Ｗｅｌｃｈのアルゴリズムによって行う。
【００７２】
次に、停留回数計算部４４０は各音素について、ＨＭＭの状態ごとの停留回数を集計し、状態ごとの停留回数の平均と分散を求める（Ｓ５０２）。具体的には、信号系列Ｏｌ＝（ｏｌ（ｎ）｜１≦ｎ≦Ｎ）に対する、時刻０からｎにおける、状態ｊへの延べ停留回数の期待値Ｔ（ｎ，ｉ，ｊ）を以下のように漸化的に求める。
（１）初期遷移
１≦ｉ＜Ｅ、０≦ｊ＜Ｅについて、
Ｔ（１，ｉ，ｊ）＝０
（２）漸化計算式
１≦ｎ≦Ｎ、１≦ｉ＜Ｅ、０≦ｊ＜Ｅについて、
【００７３】
【数８】
2004341259.tif 000010
【００７４】
ただし、
ｅｑ（ｋ，ｊ）＝１  ｉｆｆ  ｋ＝ｊ，
ｅｑ（ｋ，ｊ）＝０  ｏｔｈｅｒｗｉｓｅ
とする。また、ａｋｉは状態ｋから状態ｉへの遷移確率、ｂｋ（ｘ）は状態ｋにおける信号ｘの出力確率を表す。
（３）最終遷移
０≦ｊ＜Ｅについて、
【００７５】
【数９】
2004341259.tif 000011
【００７６】
以上の計算により、信号系列Ｏｌに関する各状態ｊ（０≦ｊ＜Ｅ）の延べ停留回数の期待値Ｔｌ（ｊ）が、Ｔ（Ｎ＋１，Ｅ，ｊ）として得られる。
信号系列集合Φ＝（Ｏｌ｜１≦ｌ≦Ｌ）の各信号系列Ｏｌの最尤状態遷移系列における各状態ｊの延べ停留回数Ｔｌ（ｊ）を計算した上で、延べ停留回数の平均値μｊと分散σｊ２は、Ｂａｕｍ−Ｗｅｌｃｈのアルゴリズムによって求められたモデルＭにおいて信号系列Ｏｌが最尤状態遷移系列Ｓｌに沿って出力される確率Ｐ（Ｏｌ｜Ｍ）を用いて、以下のように求められる。
【００７７】
【数１０】
2004341259.tif 000012
【００７８】
続いて、頑健性計算部４５０は、実施の形態３と同様にして、ステップＳ５０２で計算された状態ごとの停留回数の平均を用いて音素内相対時間位置を決定し（Ｓ４０３）、ステップＳ５０２で計算された状態ごとの停留回数の分散を音素内相対時間位置における時間長伸縮に対する頑健性として対応づけ、これらの頑健性データ（音素内相対位置と頑健性との対からなるマッピング関数）を音声合成装置１０ｂの頑健性データベース１９０に記録する（Ｓ４０４）。
【００７９】
一方、音声合成装置１０ｂは、実施の形態１と同様に言語処理、韻律生成、素片選択を行い、頑健性データベース１９０に格納された時間長伸縮に対する頑健性に従って合成する音声のフレーム長を設定し、フレームの時間長、基本周波数、音声強度等を変形した合成パラメータに従って波形生成を行う。
【００８０】
以上のように、本実施の形態４における音声素片伸縮方法により、ＨＭＭモデルの学習過程で求められた各状態での停留回数の分散を時間長伸縮に対する頑健性とし、素片内で頑健性が高いフレームの伸縮率を大きく、頑健性が低いフレームの伸縮率を小さくするように伸縮率を設定することで、ＨＭＭモデルの各状態における停留回数のばらつきの大きい箇所がより大きな時間長伸縮が行われることとなり、これによって、時間長調整による音質劣化を防ぎ、より少ない音声素片データで高い音質の合成音声を生成することが可能になる。また、時間長伸縮に対する頑健性をＨＭＭ学習過程から自動生成することにより、個々の素片データベースに最適な時間長伸縮関数が作成され、その作成作業がいっそう軽減される。
【００８１】
以上、本発明に係る音声合成システムについて、実施の形態１〜４に基づいて説明したが、本発明は、これらの実施の形態に限られない。
例えば、音声合成装置１０ｂのフレーム時間長伸縮率計算部２００は、音声合成の対象となる音声素片の各フレームの中心時間位置に対応する頑健性が頑健性データベース１９０に記録されていない場合に、頑健性データベース１９０に記録されている頑健性データ（音素内相対時間位置と頑健性との組）をスプライン補間することによって、その頑健性を求めたが、補間方法としては、スプライン関数による補間だけ限られるものではなく、直線補間、２次関数または３次関数による近似に基づく補間であってもよい。
【００８２】
また、オフライン処理装置の音声素片データベース１１０ａと音声合成装置の音声素片データベース１１０ｂとを同一の話者から得られたデータとしたり、オフライン処理装置の音声素片データベース１１０ａに音声合成装置の音声素片データベース１１０ｂを含ませたりしてもよい。これによって、頑健性を算出するために用いられる音声素片データと音声合成に用いられる音声素片データとが関連づけられ、より音声品質の高い音声素片の時間長伸縮が可能となる。
【００８３】
【発明の効果】
以上の説明から明らかなように、本発明に係る音声合成システムによれば、音声素片に対応する音響モデルの各状態ごとに、時間長伸縮に対する頑健性が算出され、音声合成時においては、その頑健性の比に基づいて、音声素片各部の時間長が伸縮されるので、時間長調整による音質劣化が防止される。このことは、従来と同じ程度の音質劣化の範囲であれば、調整可能な時間幅が拡大したことになり、長音素片が不要になる、あるいは、同一音韻の素片を継続時間長によって複数用意する必要がなくなり、より少ない素片データで、時間長調整による音質劣化の少ない音声素片の伸縮が可能となるとともに、多様な発話状態に対応して音声素片の継続時間長を調整することが可能となる。そして、時間長調整に用いるマッピング関数が自動生成されるので、素片データベース作成のための作業が軽減される。
【００８４】
また、本発明に係る音声合成システムによれば、音声素片データベースおよびそのデータベースから学習された音響モデルまたは不特定話者の音響モデル、あるいは、音声素片データベースから音響モデルを生成する過程において記録された遷移系列等のデータベースに基づいて時間長伸縮に用いるマッピング関数が生成されるので、多様なデータベースを基礎として音声素片の継続時間長を調整することが可能となる。
【００８５】
以上のように、本発明により、音質を劣化させることなく、任意の継続時間長の音声を合成することが可能となり、これによって、自然音声に近い高品質な音声合成が実現され、本発明の実用的価値は極めて高い。
【図面の簡単な説明】
【図１】本発明の実施の形態１における音声合成システムの構成を示す機能ブロック図である。
【図２】音声合成システムのオフライン処理装置の動作手順を示すフローチャートである。
【図３】頑健性計算部による頑健性データの計算方法（前半）を示す図である。
【図４】頑健性計算部による頑健性データの計算方法（後半）を示す図である。
【図５】音声合成システムの音声合成装置の動作手順を示すフローチャートである。
【図６】頑健性データをスプライン補間することによって、素片の各フレームの中心時間位置での頑健性を求める例を示す図である。
【図７】本発明の実施の形態２における音声合成システムの構成を示す機能ブロック図である。
【図８】音声合成システムのオフライン処理装置の動作手順を示すフローチャートである。
【図９】本発明の実施の形態３における音声合成システムの構成を示す機能ブロック図である。
【図１０】音声合成システムのオフライン処理装置の動作手順を示すフローチャートである。
【図１１】隠れマルコフモデルの学習過程の模式図である。
【図１２】本発明の実施の形態４における音声合成システムの構成を示す機能ブロック図である。
【図１３】音声合成システムのオフライン処理装置の動作手順を示すフローチャートである。
【図１４】音声パターンの継続時間長の伸縮方法を示す図である。
【符号の説明】
１０、２０、３０、４０    音声合成システム
１０ａ、２０ａ、３０ａ、４０ａ  オフライン処理装置
１０ｂ  音声合成装置
１１０ａ、１１０ｂ  音声素片データベース
１２０、４２０    音響モデル学習部
１３０    音響モデルデータベース
１４０、３４０    マッチング部
１５０、４５０    頑健性計算部
１６０    言語処理部
１７０    韻律生成部
１８０    素片選択部
１９０    頑健性データベース
２００    フレーム時間長伸縮率計算部
２１０    フレーム変形部
２２０    波形生成部
３３０    不特定話者音響モデルデータベース
４３０    遷移系列記録部
４４０、５４０    停留回数計算部
【図１】
2004341259.tif 000013
【図２】
2004341259.tif 000014
【図３】
2004341259.tif 000015
【図４】
2004341259.tif 000016
【図５】
2004341259.tif 000017
【図６】
2004341259.tif 000018
【図７】
2004341259.tif 000019
【図８】
2004341259.tif 000020
【図９】
2004341259.tif 000021
【図１０】
2004341259.tif 000022
【図１１】
2004341259.tif 000023
【図１２】
2004341259.tif 000024
【図１３】
2004341259.tif 000025
【図１４】
2004341259.tif 000026