(57)【特許請求の範囲】
【請求項１】
合成される音声を示す合成音声情報に基づいて合成音声を出力する音声合成システムにおいて、
検索のキーとなるキー情報と対応して、音声合成に用いられる実音声から抽出された状態の韻律情報が格納されたデータベースと、
上記合成音声情報と上記キー情報との一致程度に応じて上記韻律情報を検索する検索手段と、
上記合成音声情報と上記キー情報との一致程度に応じた変形規則に基づいて上記検索手段によって検索された韻律情報に変形を施す変形手段と、
上記合成音声情報、および上記変形手段によって変形された韻律情報に基づいて、合成音声を出力する合成手段と、
を備えたことを特徴とする音声合成システム。
【請求項２】
変形規則は、変形のパターンおよび程度の少なくともいずれかを設定するものである請求項１記載の音声合成システム。
【請求項３】
請求項１の音声合成システムであって、
上記合成音声情報、および上記キー情報は、それぞれ、合成される音声の音声的属性を示す表音記号列を含むことを特徴とする音声合成システム。
【請求項４】
請求項３の音声合成システムであって、
上記合成音声情報、および上記キー情報は、さらに、それぞれ、合成される音声の言語的属性を示す言語情報を含むことを特徴とする音声合成システム。
【請求項５】
請求項３の音声合成システムであって、
上記表音記号列は、少なくとも、合成される音声の音韻の列、アクセント位置、およびポーズの有無または長さのうちの何れかを実質的に示す情報を含むことを特徴とする音声合成システム。
【請求項６】
請求項４の音声合成システムであって、
上記言語情報は、少なくとも、合成される音声の文法的情報、および意味的情報の何れかを含むことを特徴とする音声合成システム。
【請求項７】
請求項４の音声合成システムであって、
さらに、上記音声合成システムに入力されたテキスト情報を解析して、上記表音記号列、および上記言語情報を生成する言語処理手段を備えたことを特徴とする音声合成システム。
【請求項８】
請求項１の音声合成システムであって、
上記合成音声情報、および上記キー情報は、それぞれ、合成される音声の各音韻が属する音韻カテゴリを示す音韻カテゴリ列を実質的に含むことを特徴とする音声合成システム。
【請求項９】
請求項８の音声合成システムであって、
さらに、上記音声合成システムに入力された、上記合成音声情報に対応する情報、および上記データベースに格納された、上記キー情報に対応する情報の少なくとも何れかを音韻カテゴリ列に変換する変換手段を備えたことを特徴とする音声合成システム。
【請求項１０】
請求項８の音声合成システムであって、
上記音韻カテゴリは、少なくとも、音韻の調音方式、調音位置、および継続時間長のうちの何れかを用いて音韻をグループ化したものであることを特徴とする音声合成システム。
【請求項１１】
請求項８の音声合成システムであって、
上記音韻カテゴリは、韻律パタンを統計的手法を用いてグループ化し、韻律パタンのグループを最も良く反映するように、音韻を統計的手法を用いてグループ化したものであることを特徴とする音声合成システム。
【請求項１２】
請求項１１の音声合成システムであって、
上記統計的手法は、多変量解析であることを特徴とする音声合成システム。
【請求項１３】
請求項８の音声合成システムであって、
上記音韻カテゴリは、音韻どうしの異聴表から統計的手法を用いて決定した音韻間の距離に従って音韻をグループ化したものであることを特徴とする音声合成システム。
【請求項１４】
請求項１３の音声合成システムであって、
上記統計的手法は、多変量解析であることを特徴とする音声合成システム。
【請求項１５】
請求項８の音声合成システムであって、
上記音韻カテゴリは、音韻の物理特性の類似度に従って音韻をグループ化したものであることを特徴とする音声合成システム。
【請求項１６】
請求項１５の音声合成システムであって、
上記物理特性は、少なくとも、音韻の基本周波数、強度、時間長、およびスペクトルのうちの何れかであることを特徴とする音声合成システム。
【請求項１７】
請求項１の音声合成システムであって、
上記データベースに格納される上記韻律情報は、同一の実音声から抽出された韻律的特徴を示す情報を含むことを特徴とする音声合成システム。
【請求項１８】
請求項１７の音声合成システムであって、
上記韻律的特徴を示す情報は、少なくとも、
基本周波数の時間的変化を示す基本周波数パタン、
音声強度の時間的変化を示す音声強度パタン、
音韻ごとの時間長を示す音韻時間長パタン、および
ポーズの有無または長さを示すポーズ情報の
何れかを含むことを特徴とする音声合成システム。
【請求項１９】
請求項１の音声合成システムであって、
上記データベースは、上記韻律情報を韻律制御単位ごとに格納することを特徴とする音声合成システム。
【請求項２０】
請求項１９の音声合成システムであって、
上記韻律制御単位は、
アクセント句、
１以上のアクセント句によって構成されるフレーズ、
文節、
１以上の文節によって構成されるフレーズ、
単語、
１以上の単語によって構成されるフレーズ、
ストレス句、および
１以上のストレス句によって構成されるフレーズ
のうちの何れかであることを特徴とする音声合成システム。
【請求項２１】
請求項１の音声合成システムであって、
上記合成音声情報、および上記キー情報は、それぞれ、合成される音声を決定する要素である複数種類の音声指標情報を含み、
上記合成音声情報とキー情報との一致程度は、上記合成音声情報における各音声指標情報と、上記キー情報における各音声指標情報との一致程度が、それぞれ重み付けされて合成されたものであることを特徴とする音声合成システム。
【請求項２２】
請求項２１の音声合成システムであって、
上記音声指標情報は、少なくとも、合成される音声の音韻の列、アクセント位置、ポーズの有無または長さ、および言語的属性を示す言語情報のうちの何れかを実質的に示す情報を含むことを特徴とする音声合成システム。
【請求項２３】
請求項２２の音声合成システムであって、
上記音声指標情報は、合成される音声の音韻の列を実質的に示す情報を含み、
上記合成音声情報における各音声指標情報と、上記キー情報における各音声指標情報との一致程度は、上記音韻ごとの音響的特徴長の類似程度を含むことを特徴とする音声合成システム。
【請求項２４】
請求項２１の音声合成システムであって、
上記音声指標情報は、合成される音声の各音韻が属する音韻カテゴリを示す音韻カテゴリ列を実質的に含むことを特徴とする音声合成システム。
【請求項２５】
請求項２４の音声合成システムであって、
上記合成音声情報における各音声指標情報と、上記キー情報における各音声指標情報との一致程度は、上記音韻ごとの音韻カテゴリの類似程度を含むことを特徴とする音声合成システム。
【請求項２６】
請求項２１の音声合成システムであって、
上記韻律情報は、合成される音声を特徴づける複数種類の韻律特徴情報を含むことを特徴とする音声合成システム。
【請求項２７】
請求項２６の音声合成システムであって、
上記複数種類の韻律特徴情報は、組にされて、上記データベースに格納されていることを特徴とする音声合成システム。
【請求項２８】
請求項２７の音声合成システムであって、
上記組にされる複数種類の韻律特徴情報は、それぞれ、同一の実音声から抽出されたものであることを特徴とする音声合成システム。
【請求項２９】
請求項２６の音声合成システムであって、
上記韻律的特徴情報は、少なくとも、
基本周波数の時間的変化を示す基本周波数パタン、
音声強度の時間的変化を示す音声強度パタン、
音韻ごとの時間長を示す音韻時間長パタン、および
ポーズの有無または長さを示すポーズ情報の
何れかを含むことを特徴とする音声合成システム。
【請求項３０】
請求項２９の音声合成システムであって、
上記音韻時間長パタンは、少なくとも、音素時間長パタン、モーラ時間長パタン、および音節時間長パタンの何れかを含むことを特徴とする音声合成システム。
【請求項３１】
請求項２６の音声合成システムであって、
上記各種類の韻律特徴情報は、それぞれ、異なる上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて検索、および変形されることを特徴とする音声合成システム。
【請求項３２】
請求項２１の音声合成システムであって、
上記検索手段による上記韻律情報の検索と、上記変形手段による上記韻律情報の変形とは、それぞれ、異なる上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて行われることを特徴とする音声合成システム。
【請求項３３】
請求項２１の音声合成システムであって、
上記検索手段による上記韻律情報の検索と、上記変形手段による上記韻律情報の変形とは、それぞれ、同一の上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて行われることを特徴とする音声合成システム。
【請求項３４】
請求項１の音声合成システムであって、
上記変形手段は、少なくとも、
音素ごと、
モーラごと、
音節ごと、
上記合成手段における音声波形の生成単位ごと、および
音韻ごと
の何れかの一致程度に基づいて、上記検索手段によって検索された上記韻律情報の変形を行うことを特徴とする音声合成システム。
【請求項３５】
請求項３４の音声合成システムであって、
上記音素ごと、モーラごと、音節ごと、上記合成手段における音声波形の生成単位ごと、および音韻ごとの何れかの一致度は、少なくとも、
音響特性に基づく距離、
調音方式、調音位置、および継続時間長のうちの何れかにより求められた距離、および
聴取実験による異聴表に基づく距離
の何れかに基づいて設定されることを特徴とする音声合成システム。
【請求項３６】
請求項３５の音声合成システムであって、
上記音響特性は、少なくとも、基本周波数、強度、時間長、およびスペクトルのうちの何れかであることを特徴とする音声合成システム。
【請求項３７】
請求項１の音声合成システムであって、
上記データベースは、複数種類の言語について、上記キー情報および韻律情報が格納されることを特徴とする音声合成システム。
【請求項３８】
合成される音声を示す合成音声情報に基づいて合成音声を出力する音声合成方法において、
検索のキーとなるキー情報と対応して音声合成に用いられる実音声から抽出された状態の韻律情報が格納されたデータベースから、
上記合成音声情報と上記キー情報との一致程度に応じて上記韻律情報を検索し、
上記合成音声情報と上記キー情報との一致程度に応じた変形規則に基づいて上記検索手段によって検索された韻律情報に変形を施し、
上記合成音声情報、および上記変形手段によって変形された韻律情報に基づいて、合成音声を出力することを特徴とする音声合成方法。
【請求項３９】
請求項３８の音声合成方法であって、
上記合成音声情報、および上記キー情報は、それぞれ、合成される音声を決定する要素である複数種類の音声指標情報を含み、
上記合成音声情報とキー情報との一致程度は、上記合成音声情報における各音声指標情報と、上記キー情報における各音声指標情報との一致程度が、それぞれ重み付けされて合成されたものであることを特徴とする音声合成方法。
【請求項４０】
請求項３９の音声合成方法であって、
上記韻律情報は、合成される音声を特徴づける複数種類の韻律特徴情報を含むことを特徴とする音声合成方法。
【請求項４１】
請求項４０の音声合成方法であって、
上記各種類の韻律特徴情報は、それぞれ、異なる上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて検索、および変形されることを特徴とする音声合成方法。
【請求項４２】
請求項３９の音声合成方法であって、
上記検索手段による上記韻律情報の検索と、上記変形手段による上記韻律情報の変形とは、それぞれ、異なる上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて行われることを特徴とする音声合成方法。
【請求項４３】
請求項３９の音声合成方法であって、
上記検索手段による上記韻律情報の検索と、上記変形手段による上記韻律情報の変形とは、それぞれ、同一の上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて行われることを特徴とする音声合成方法。
【請求項４４】
入力されたテキストを合成音声に変換して出力する音声合成システムにおいて、
上記入力されたテキストを解析して、表音記号列と言語情報とを出力する言語処理手段と、
実音声から抽出された状態の韻律情報と、合成される音声に対応する表音記号列および言語情報とが、対応して格納された韻律情報データベースと、
上記言語処理手段から出力された上記表音記号列と上記言語情報とから成る検索項目の少なくとも一部に対応する、上記韻律情報データベースに格納されている上記韻律情報を検索する検索手段と、
上記検索項目と上記韻律情報データベースの格納内容との一致の程度に応じて、上記韻律情報データベースから検索され、選択された韻律情報を上記検索項目と上記韻律情報データベースの格納内容との一致の程度に応じた変形規則に基づいて変形する韻律変形手段と、
上記韻律変形手段から出力される上記韻律情報と上記言語処理手段から出力された上記表音記号列とに基づいて音声波形を生成する波形生成手段とを備えたことを特徴とする音声合成システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、任意の入力テキスト、または入力表音記号列等を合成音声に変換して出力する音声合成システムに関するものである。
【０００２】
【従来の技術】
近年、家庭電化製品や、カーナビゲーションシステム、携帯電話などの種々の電子機器において、機器の状態や、操作などの指示、応答メッセージ等のメッセージを発声させるために合成音声が多く用いられている。また、パーソナルコンピュータなどにおいては、音声インタフェイスによる操作や、光学文字認識（ＯＣＲ）による文字認識結果の確認などにも用いられつつある。
【０００３】
上記のような音声合成を行う手法としては、あらかじめ音声データを記憶させておいて、これを再生させるような方法があり、限られたメッセージなどを発声させる場合などに多く用いられているが、この方法を用いて任意の音声を発声させるためには、大容量の記憶装置を必要とし、高価なものとなりがちであるため、用途が限られたものとなっている。
【０００４】
一方、比較的安価な構成で任意の音声を発声させる手法としては、入力されたテキストや表音記号列の並びなどに基づいて、所定の音声データ生成規則を用いて音声データを生成させるようにしたものがある。しかし、このような音声データ生成規則を用いる方法では、多様な種々の表現に対して自然な音声を発声させることは困難である。
【０００５】
そこで、例えば特開平８−８７２９７号公報に開示されているように、データベースを用いた音声情報の検索による合成音声の生成と、合成音声生成規則による合成音声の生成とを併用する音声合成システムが知られている。この種の装置は、より詳しくは、例えば図１３に示すように、文字列入力部９１０と、実音声を分析して抽出した音声特徴量およびこれに対応する発声内容を格納した音声情報データベース９２０と、音声情報データベース９２０を検索する音声情報検索部９３０と、音声波形を生成する合成音声生成部９４０と、入力テキストまたは入力表音記号列から音声特徴量を生成する際の規則を含む合成音声生成規則９５０と、電気音響変換器９６０とを備えて構成されている。この音声合成システムでは、文字列入力部９１０にテキストまたは表音記号列が入力されると、音声情報検索部９３０は、音声情報データベース９２０から入力テキストまたは入力表音記号列に一致する発声内容の音声情報を検索する。一致する発声内容が存在する場合には、対応する音声情報を合成音声生成部９４０へ渡す。一方、一致する発声内容が存在しない場合には、音声情報検索部９３０は、入力テキストまたは入力表音記号列をそのまま合成音声生成部９４０へ渡す。合成音声生成部９４０は、検索された音声情報が入力された場合には、これに基づいて合成音声を生成し、入力テキストあるいは入力表音記号列が入力された場合には、これと合成音声生成規則９５０とに基づいて音声特徴量を生成した後に、合成音声を生成する。
【０００６】
上記のように、音声情報の検索と合成音声生成規則とを用いることにより、任意の入力テキスト等を合成音声に変換して出力することができるとともに、一部の音声（検索がヒットした場合）については、自然な音声を発声させることができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の音声合成システムでは、検索がヒットした場合とヒットしなかった場合と、すなわち、音声情報データベース内に、入力テキスト等に対応する発声内容が存在する場合と存在しない場合とで、音質の差が大きく、そのような音質の異なる音声をつなぎあわせることにより、かえって不自然さが目立つことになるという問題点を有していた。また、音声情報データベース９２０の検索を単に入力表音記号列と格納されている発声内容との一致の有無によって行っているために、一致する発声内容が存在すれば、文の構成などに係らず、検索された音声情報によって音声合成が行われ、やはり不自然な合成音声になるという問題点も有していた。
【０００８】
具体例には、例えば、「大阪に住んでいる私は松下です」という文を音声合成する場合、固有名詞「松下」がデータベースに存在しない場合には、その部分だけ機械的な合成音声になったり、文末の発声内容として格納されている「大阪に住んでいる」の音声情報が用いられて、「大阪に住んでいる」「私は松下です」といった２つの文が不自然に繋ぎ合わされたような合成音声になったりしがちであった。
【０００９】
本発明は、上記の点に鑑み、任意の入力テキスト等に応じて、自然な合成音声を発声させることができ、特に、音声情報（韻律情報）データベース内に、入力テキスト等に対応する発声内容が存在してもしなくても、同様の音質で合成音声を発声させることができる音声合成システムの提供を目的としている。
【００１０】
【課題を解決するための手段】
上記の目的を達成するため、本発明は、
合成される音声を示す合成音声情報に基づいて合成音声を出力する音声合成システムにおいて、
検索のキーとなるキー情報と対応して、音声合成に用いられる実音声から抽出された状態の韻律情報が格納されたデータベースと、
上記合成音声情報と上記キー情報との一致程度に応じて上記韻律情報を検索する検索手段と、
上記合成音声情報と上記キー情報との一致程度に応じた変形規則に基づいて上記検索手段によって検索された韻律情報に変形を施す変形手段と、
上記合成音声情報、および上記変形手段によって変形された韻律情報に基づいて、合成音声を出力する合成手段と、
を備えたことを特徴としている。
【００１１】
上記変形規則は、変形のパターンおよび程度の少なくともいずれかを設定するものであってもよい。上記合成音声情報、および上記キー情報は、それぞれ、合成される音声の音声的属性を示す表音記号列や、さらに、合成される音声の言語的属性を示す言語情報を含んでいてもよく、上記表音記号列は、少なくとも、合成される音声の音韻の列、アクセント位置、およびポーズの有無または長さのうちの何れかを実質的に示す情報を含んでいてもよい。また、上記言語情報は、少なくとも、合成される音声の文法的情報、および意味的情報の何れかを含んでいてもよい。
【００１２】
また、さらに、上記音声合成システムに入力されたテキスト情報を解析して、上記表音記号列、および上記言語情報を生成する言語処理手段を備えたことを特徴としている。
【００１３】
これにより、合成音声情報とキー情報とが完全に一致するような韻律情報がデータベースに格納されていない場合でも、類似した韻律情報によって音声合成が行われるので、任意の音声に対して、比較的適切、かつ、むらのない自然な音声を発声させることができる。また、逆に、合成音声の自然さを損なうことなく、データベースの記憶容量を低減することができる。さらに、上記のように類似した韻律情報が用いられる場合に、その類似の程度に応じて韻律情報が変形されるので、より適切な合成音声が発せられる。
【００１４】
また、本発明は、
上記音声合成システムであって、
上記合成音声情報、および上記キー情報は、それぞれ、合成される音声の各音韻が属する音韻カテゴリを示す音韻カテゴリ列を実質的に含むことを特徴としている。
【００１５】
また、さらに、上記音声合成システムに入力された、上記合成音声情報に対応する情報、および上記データベースに格納された、上記キー情報に対応する情報の少なくとも何れかを音韻カテゴリ列に変換する変換手段を備えたことを特徴としている。
【００１６】
上記音韻カテゴリは、少なくとも、音韻の調音方式、調音位置、および継続時間長のうちの何れかを用いて音韻をグループ化したものや、
韻律パタンを統計的手法を用いてグループ化し、韻律パタンのグループを最も良く反映するように、音韻を多変量解析等の統計的手法を用いてグループ化したもの、
音韻どうしの異聴表から多変量解析等の統計的手法を用いて決定した音韻間の距離に従って音韻をグループ化したもの、
音韻の、音韻の基本周波数、強度、時間長、またはスペクトルなどの物理特性の類似度に従って音韻をグループ化したものなどでもよい。
【００１７】
これにより、韻律情報の検索において、音素列が一致していない場合でも、各音素の音韻カテゴリが一致している場合には、韻律情報を流用しても、多くの場合、適切で自然な合成音声を発声させることができる。
【００１８】
また、本発明は、
上記音声合成システムであって、
上記データベースに格納される上記韻律情報は、同一の実音声から抽出された韻律的特徴を示す情報を含むことを特徴としている。
【００１９】
また、本発明は、
上記音声合成システムであって、
上記韻律的特徴を示す情報は、少なくとも、
基本周波数の時間的変化を示す基本周波数パタン、
音声強度の時間的変化を示す音声強度パタン、
音韻ごとの時間長を示す音韻時間長パタン、および
ポーズの有無または長さを示すポーズ情報の
何れかを含むことを特徴としている。
【００２０】
また、本発明は、
上記音声合成システムであって、
上記データベースは、上記韻律情報を韻律制御単位ごとに格納することを特徴としている。
【００２１】
また、本発明は、
上記音声合成システムであって、
上記韻律制御単位は、
アクセント句、
１以上のアクセント句によって構成されるフレーズ、
文節、
１以上の文節によって構成されるフレーズ、
単語、
１以上の単語によって構成されるフレーズ、
ストレス句、および
１以上のストレス句によって構成されるフレーズ
のうちの何れかであることを特徴としている。
【００２２】
これにより、適切で自然な合成音声を容易に発声させることができる。
【００２３】
また、本発明は、
上記音声合成システムであって、
上記合成音声情報、および上記キー情報は、それぞれ、合成される音声を決定する要素である複数種類の音声指標情報を含み、
上記合成音声情報とキー情報との一致程度は、上記合成音声情報における各音声指標情報と、上記キー情報における各音声指標情報との一致程度が、それぞれ重み付けされて合成されたものであることを特徴としている。
【００２４】
また、本発明は、
上記音声合成システムであって、
上記音声指標情報は、少なくとも、合成される音声の音韻の列、アクセント位置、ポーズの有無または長さ、および言語的属性を示す言語情報のうちの何れかを実質的に示す情報を含むことを特徴としている。
【００２５】
また、本発明は、
上記音声合成システムであって、
上記音声指標情報は、合成される音声の音韻の列を実質的に示す情報を含み、
上記合成音声情報における各音声指標情報と、上記キー情報における各音声指標情報との一致程度は、上記音韻ごとの音響的特徴長の類似程度を含むことを特徴としている。
【００２６】
また、本発明は、
上記音声合成システムであって、
上記音声指標情報は、合成される音声の各音韻が属する音韻カテゴリを示す音韻カテゴリ列を実質的に含むことを特徴としている。
【００２７】
また、本発明は、
上記音声合成システムであって、
上記合成音声情報における各音声指標情報と、上記キー情報における各音声指標情報との一致程度は、上記音韻ごとの音韻カテゴリの類似程度を含むことを特徴としている。
【００２８】
これにより、適切な韻律情報の検索および変形を容易に行うことができる。
【００２９】
また、本発明は、
上記音声合成システムであって、
上記韻律情報は、合成される音声を特徴づける複数種類の韻律特徴情報を含むことを特徴としている。
【００３０】
また、本発明は、
上記音声合成システムであって、
上記複数種類の韻律特徴情報は、組にされて、上記データベースに格納されていることを特徴としている。
【００３１】
また、本発明は、
上記音声合成システムであって、
上記組にされる複数種類の韻律特徴情報は、それぞれ、同一の実音声から抽出されたものであることを特徴としている。
【００３２】
また、本発明は、
上記音声合成システムであって、
上記韻律的特徴情報は、少なくとも、
基本周波数の時間的変化を示す基本周波数パタン、
音声強度の時間的変化を示す音声強度パタン、
音韻ごとの時間長を示す音韻時間長パタン、および
ポーズの有無または長さを示すポーズ情報の
何れかを含むことを特徴としている。
【００３３】
また、本発明は、
上記音声合成システムであって、
上記音韻時間長パタンは、少なくとも、音素時間長パタン、モーラ時間長パタン、および音節時間長パタンの何れかを含むことを特徴としている。
【００３４】
また、本発明は、
上記音声合成システムであって、
上記各種類の韻律特徴情報は、それぞれ、異なる上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて検索、および変形されることを特徴としている。
【００３５】
また、本発明は、
上記音声合成システムであって、
上記検索手段による上記韻律情報の検索と、上記変形手段による上記韻律情報の変形とは、それぞれ、異なる上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて行われることを特徴としている。
【００３６】
また、本発明は、
上記音声合成システムであって、
上記検索手段による上記韻律情報の検索と、上記変形手段による上記韻律情報の変形とは、それぞれ、同一の上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて行われることを特徴としている。
【００３７】
また、本発明は、
上記音声合成システムであって、
上記変形手段は、少なくとも、
音素ごと、
モーラごと、
音節ごと、
上記合成手段における音声波形の生成単位ごと、および
音韻ごと
の何れかの一致程度に基づいて、上記検索手段によって検索された上記韻律情報の変形を行うことを特徴としている。
【００３８】
また、本発明は、
上記音声合成システムであって、
上記音素ごと、モーラごと、音節ごと、上記合成手段における音声波形の生成単位ごと、および音韻ごとの何れかの一致度は、少なくとも、
音響特性に基づく距離、
調音方式、調音位置、および継続時間長のうちの何れかにより求められた距離、および
聴取実験による異聴表に基づく距離
の何れかに基づいて設定されることを特徴としている。
【００３９】
これにより、適切な変形を容易に行うことができる。
【００４０】
また、本発明は、
上記音声合成システムであって、
上記音響特性は、少なくとも、基本周波数、強度、時間長、およびスペクトルのうちの何れかであることを特徴としている。
【００４１】
また、本発明は、
上記音声合成システムであって、
上記データベースは、複数種類の言語について、上記キー情報および韻律情報が格納されることを特徴としている。
【００４２】
これにより、複数種類の言語を含む合成音声を容易に発声させることができる。
【００４３】
また、本発明は、
合成される音声を示す合成音声情報に基づいて合成音声を出力する音声合成方法において、
検索のキーとなるキー情報と対応して音声合成に用いられる実音声から抽出された状態の韻律情報が格納されたデータベースから、
上記合成音声情報と上記キー情報との一致程度に応じて上記韻律情報を検索し、
上記合成音声情報と上記キー情報との一致程度に応じた変形規則に基づいて上記検索手段によって検索された韻律情報に変形を施し、
上記合成音声情報、および上記変形手段によって変形された韻律情報に基づいて、合成音声を出力することを特徴としている
【００４４】
また、本発明は、
上記音声合成方法であって、
上記合成音声情報、および上記キー情報は、それぞれ、合成される音声を決定する要素である複数種類の音声指標情報を含み、
上記合成音声情報とキー情報との一致程度は、上記合成音声情報における各音声指標情報と、上記キー情報における各音声指標情報との一致程度が、それぞれ重み付けされて合成されたものであることを特徴としている。
【００４５】
また、本発明は、
上記音声合成方法であって、
上記韻律情報は、合成される音声を特徴づける複数種類の韻律特徴情報を含むことを特徴としている。
【００４６】
また、本発明は、
上記音声合成方法であって、
上記各種類の韻律特徴情報は、それぞれ、異なる上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて検索、および変形されることを特徴としている。
【００４７】
また、本発明は、
上記音声合成方法であって、
上記検索手段による上記韻律情報の検索と、上記変形手段による上記韻律情報の変形とは、それぞれ、異なる上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて行われることを特徴としている。
【００４８】
また、本発明は、
上記音声合成方法であって、
上記検索手段による上記韻律情報の検索と、上記変形手段による上記韻律情報の変形とは、それぞれ、同一の上記重み付けによる上記合成音声情報とキー情報との一致程度に応じて行われることを特徴としている。
【００４９】
これにより、やはり、合成音声情報とキー情報とが完全に一致するような韻律情報がデータベースに格納されていない場合でも、類似した韻律情報によって音声合成が行われるので、任意の音声に対して、比較的適切、かつ、むらのない自然な音声を発声させることができる。また、逆に、合成音声の自然さを損なうことなく、データベースの記憶容量を低減することができる。さらに、上記のように類似した韻律情報が用いられる場合に、その類似の程度に応じて韻律情報が変形されるので、より適切な合成音声が発せられる。
【００５０】
また、本発明は、入力されたテキストを合成音声に変換して出力する音声合成システムにおいて、
上記入力されたテキストを解析して、表音記号列と言語情報とを出力する言語処理手段と、
実音声から抽出された状態の韻律情報と、合成される音声に対応する表音記号列および言語情報とが、対応して格納された韻律情報データベースと、
上記言語処理手段から出力された上記表音記号列と上記言語情報とから成る検索項目の少なくとも一部に対応する、上記韻律情報データベースに格納されている上記韻律情報を検索する検索手段と、
上記検索項目と上記韻律情報データベースの格納内容との一致の程度に応じて、上記韻律情報データベースから検索され、選択された韻律情報を上記検索項目と上記韻律情報データベースの格納内容との一致の程度に応じた変形規則に基づいて変形する韻律変形手段と、
上記韻律変形手段から出力される上記韻律情報と上記言語処理手段から出力された上記表音記号列とに基づいて音声波形を生成する波形生成手段とを備えたことを特徴としている。
【００５１】
これにより、やはり、任意の入力テキストに対して、比較的適切、かつ、むらのない自然な音声を発声させることができる。
【００５２】
【発明の実施の形態】
実施の形態に基づいて本発明の内容を具体的に説明する。
【００５３】
（実施の形態１）
図１は、実施の形態１の音声合成システムの構成を示す機能ブロック図である。図１において、
文字列入力部１１０は、音声合成の対象となる情報として、漢字かな交じり文字列や、かな文字列などのテキストなどを入力するものである。この文字列入力部１１０としては、具体的には、例えば、キーボードのような入力装置などが用いられる。
【００５４】
言語処理部１２０は、後述するデータベース検索などのための前処理を行うもので、入力されたテキストを解析し、例えば図２に示すように、アクセント句ごとに、表音記号列、および言語情報を出力するものである。ここで、上記アクセント句は、便宜上、音声合成のための処理単位となるもので、ほぼ文法上の文節に相当するが、例えば２桁以上の数字は各桁の数字をそれぞれ１つのアクセント句とするなど、音声合成処理に適したように、入力テキストを区切ったものである。また、上記表音記号列は、例えば英数記号から成る文字列によって、音声の発声単位となる音素や、アクセントの位置などを示すものである。また、上記言語情報は、例えば、アクセント句の文法情報（品詞など）および意味情報（意味の属性など）を示すものである。
【００５５】
韻律情報データベース１３０は、例えば図３に示すように、アクセント句ごとに、実際の音声からアクセント句ごとに抽出された韻律情報が、被検索キーと対応して格納されたものである。同図に示す例では、被検索キーとして、
（ａ）音素列
（ｂ）アクセント位置
（ｃ）モーラ（拍）数
（ｄ）アクセント句の前後のポーズ長
（ｅ）文法情報、および意味情報
が用いられている。また、韻律情報として、
（ａ）基本周波数パタン
（ｂ）音声強度パタン
（ｃ）音韻時間長パタン
が用いられている。ここで、上記各韻律情報は、自然な合成音声を発声させるためには、同一の実音声から抽出したものであることが好ましい。なお、上記モーラ数は、韻律情報データベース１３０にあらかじめ格納せずに、検索の都度、上記音素列から数えるようにしてもよい。また、上記アクセント句の前後のポーズ長は、同図の例ではアクセント句が文頭または文末であるかどうかを示す情報を兼ねている。これによって、同一のアクセント句が文中の位置によって発声強度などが異なる場合でも、検索において区別されて、適切な音声を合成することができるようになっているが、これに限らず、ポーズ長だけを含むものにしてもよいし、また、文頭、文末を示す情報を別個の被検索キーとするようにしてもよい。
【００５６】
韻律情報検索部１４０は、言語処理部１２０の出力に基づいて、韻律情報データベース１３０の韻律情報を検索して出力するものである。この検索においては、いわゆるあいまい検索が行われる。すなわち、言語処理部１２０からの出力に基づく音素列等の検索キーが韻律情報データベース１３０中の被検索キーと完全に一致しなくても、ある程度一致するものを検索候補とし、その中から、例えば最小コスト法によって、最も一致程度の高いもの（検索キーと被検索キーとの差に相当する近似コストが小さいもの）を選択するようになっている。すなわち、検索キーと被検索キーとが完全に一致しない場合でも、類似したアクセント句の韻律情報を用いることにより、韻律情報を生成規則によって生成するよりも自然な音声を発声させることができる。
【００５７】
韻律情報変形部１５０は、韻律情報検索部１４０における検索時の近似コストと、後述する韻律情報変形規則記憶部１６０に保持された変形規則とに基づいて、韻律情報検索部１４０によって検索された韻律情報を変形するものである。すなわち、韻律情報検索部１４０での検索において、検索キーと被検索キーとが一致する場合には、検索された韻律情報によって最も適切な音声合成を行うことができるが、両キーが完全に一致しない場合には、上記のように類似したアクセント句の韻律情報を用いるため、両キーの一致程度が低いほど（近似コストが大きいほど）、合成音声が適切な音声からずれたものになる可能性がある。そこで、上記近似コストに応じて、検索された韻律情報に所定の変形を施すことによって、より適切な合成音声が発せられるようになっている。
【００５８】
韻律情報変形規則記憶部１６０は、上記近似コストに応じた韻律情報の変形のための変形規則を保持するものである。
【００５９】
波形生成部１７０は、言語処理部１２０から出力された表音記号列と、韻律情報変形部１５０から出力された韻律情報とに基づいて、音声波形を合成し、アナログ音声信号を出力するものである。
【００６０】
電気音響変換器１８０は、例えばスピーカやヘッドフォンなど、アナログ音声信号を音声に変換するものである。
【００６１】
次に、上記のように構成された音声合成システムの音声合成動作を説明する。
【００６２】
（１）  文字列入力部１１０に音声に変換されるべきテキストが入力されると、言語処理部１２０は、入力されたテキストを解析し、アクセント句ごとに分離して、図２に示すような表音記号列、および言語情報を出力する。具体的には、例えば、漢字かな交じり文字列が入力される場合には、図示しない漢字辞書などの変換辞書などを用いて、アクセント句に分離するとともに、読みに変換し、アクセント位置やポーズの有無、長さなどを表す表音記号列を生成する。ここで、図２の表音記号列の例では、英数記号によって次のような情報を示すようになっている。
【００６３】
（ａ）アルファベット  ：音素（「Ｎ」は撥音を示す。）
（ｂ）「’」            ：アクセント位置
（ｃ）「／」            ：アクセント句の区切り
（ｄ）「ｃｌ」          ：無音区間
（ｅ）数字            ：ポーズ長
なお、同図には示していないが、フレーズや文の区切りを示す情報なども示すようにしてもよい。なお、表音記号列の表記は上記のものに限るものではなく、また、音素列やアクセント位置を示す数値などをそれぞれ別個の情報として出力するなどしてもよい。また、言語情報（文法情報、意味情報）としては、品詞や意味などのほか、活用形や、係り受けの有無、一般的な文中での重要度などを含めるようにしてもよく、さらに、表記も同図に示すような「名詞」や「連体形」などの文字列に限らず、コード化した数字を用いるなどしてもよい。
【００６４】
（２）  韻律情報検索部１４０は、言語処理部１２０から出力されたアクセント句ごとの表音記号列と言語情報に基づいて、韻律情報データベース１３０の韻律情報を検索し、検索された韻律情報と、後に詳述する近似コストとを出力する。より詳しくは、言語処理部１２０から上記のような表記の表音記号列が出力される場合には、まず、この表音記号列から、音素列や、アクセント位置、モーラ数等を示す数値などを求め、これらを検索キーとして、韻律情報データベース１３０中の韻律情報を検索する。この検索においては、上記検索キーと完全に一致する被検索キーが韻律情報データベース１３０中に存在する場合には、その被検索キーに対応する韻律情報を検索結果とすればよいが、存在しない場合には、まず、ある程度一致するもの（例えば音素列は一致するが意味情報は一致しないものや、音素列は一致しないが、アクセントおよびモーラ数は一致するものなど）を検索候補とし、それらのうち、検索キーと被検索キーとの一致程度が最も高いものを選択して、検索結果とする。
【００６５】
上記選択は、例えば近似コストを用いた最小コスト法によって行うことができる。具体的には、まず、次のようにして近似コストＣを求める。
【数１】
【００６６】
Ｃ＝ａ１・Ｄ１＋ａ２・Ｄ２＋ａ３・Ｄ３＋ａ４・Ｄ４＋ａ５・Ｄ５＋ａ６・Ｄ６＋ａ７・Ｄ７
ここで、上記ａ１、Ｄ１等は、以下の通りである。
【００６７】
Ｄ１：音素列における一致しない音素数
Ｄ２：アクセント位置の差
Ｄ３：モーラ数の差
Ｄ４：直前のポーズ長の一致の有無（被検索キーの範囲内か否か）
Ｄ５：直後のポーズ長の一致の有無（被検索キーの範囲内か否か）
Ｄ６：文法情報の一致の有無または程度
Ｄ７：意味情報の一致の有無または程度
ａ１〜ａ７：上記Ｄ１〜Ｄ７の重みづけをする係数（これらのＤ１〜Ｄ７が、適切な韻律情報の選択に寄与する程度を、統計的手法や学習によって求めたもの）である。
【００６８】
なお、上記Ｄ１  〜Ｄ７  としては、上記に限らず、検索キーと被検索キーとの一致程度を表すものであれば、種々のものを用いることができる。例えば、Ｄ１については、一致しない音素が互いに類似する音素かどうかや、一致しない音素の位置、一致しない音素が連続しているかどうかなどに応じて異なる値としたりしてもよい。また、Ｄ４、Ｄ５については、ポーズ長が図３に示すように長、短、無しなどの段階で示される場合には、一致しているか否かを０、１で表したり、段階の差を数値で表したりしてもよく、また、ポーズ長が時間の数値で示される場合には、時間の差を用いたりしてもよい。また、Ｄ６、Ｄ７については、文法情報や意味情報が一致しているか否かを０、１で表してもよいし、検索キーと被検索キーとをパラメータとするテーブルを用いて、両者の組み合わせに応じた一致の程度（例えば名詞と動詞とでは一致の程度は低く、助詞と助動詞とでは高いなど。）を示す数値を用いるようにしたり、類義語辞書を用いて意味の類似の程度を求めるようにしたりしてもよい。
【００６９】
上記のような近似コストを各検索候補ごとに算出し、もっとも近似コストの小さいものを検索結果として選択して検索結果とすることにより、検索キーと被検索キーとが完全に一致するような韻律情報が韻律情報データベース１３０に格納されていない場合でも、類似した韻律情報によって、比較的適切、かつ自然な音声を発声させることができる。
【００７０】
（３）  韻律情報変形部１５０は、韻律情報検索部１４０から出力された近似コストに応じて、韻律情報変形規則記憶部１６０に記憶されている規則を用い、韻律情報検索部１４０から検索結果として出力された韻律情報（基本周波数パタン、音声強度パタン、音韻時間長パタン）を変形する。具体的には、例えば、基本周波数パタンのダイナミックレンジを圧縮する変形規則が適用される場合には、図４に示すような基本周波数パタンの変形がなされる。
【００７１】
上記近似コストに応じた変形は、次のような意味を持っている。すなわち、例えば、図５に示すように、入力テキスト「門真市」に対して「名古屋市」の韻律情報が検索されたとすると、これらの音素列は相違するが、その他の検索項目は一致している（近似コストは小さい）ため、「名古屋市」の韻律情報をそのまま変形せずに用いれば、適切な音声合成をすることができる。また、例えば、「５分です」に対して「なるんです」が検索されたとすると、「５分です」の適切な合成音声を得るためには、一般に、品詞の相違を考慮すれば、「なるんです」の音声強度パタンを多少減少させることが望ましく、文節情報（例えば意味の重要度）を考慮すれば、数字は発声強度の大きい場合が多いので、「なるんです」の音声強度パタンをある程度増大させることが望ましく、総合的には、「なるんです」の音声強度パタンを多少増大させることが望ましい。このような総合的な変形程度は、近似コストと相関関係を有しているため、近似コストに対応した変形程度（変形倍率等）を変形規則として韻律情報変形規則記憶部１６０に記憶させておくことにより、適切な合成音声を得ることができる。なお、韻律情報の変形は、図４に示すように経過時間の全体にわたって一様に変形するものに限らず、例えば主として時間経過の中間付近を変形させるなどの変形パターンによって、時間経過とともに変形程度を異ならせるなどしてもよい。上記変形規則の具体的な記憶形式としては、近似コストを変形倍率に変換するための係数を変形規則とするものでもよいし、近似コストをパラメータとして変形倍率や変形パターンを対応させたテーブルを用いるなどしてもよい。なお、変形に用いる近似コストとしては、上記のように検索に用いる近似コストと同じものに限らず、上記（数１）とは係数ａ１〜ａ７が異なる式によって、より適切な変形が行われる値を得るようにしてもよく、また、基本周波数パタン、音声強度パタン、音韻時間長パタンでそれぞれ異なる値を用いるようにしてもよい。また、例えば、（数１）の各項が負の値を採り得るような場合には、各項の絶対値の和を検索用の近似コスト（０または正）として用い、各項のそのままの値の和を変形用の近似コスト（負もあり得る）として用いるようにするなどしてもよい。
【００７２】
（４）  波形生成部１７０は、言語処理部１２０から出力された表音記号列と、韻律情報変形部１５０によって変形された韻律情報と
に基づいて、すなわち、音素列およびポーズ長と、基本周波数パタン、音声強度パタン、および音韻時間長パタンとに基づいて音声波形を合成し、アナログ音声信号を出力する。このアナログ音声信号により、電気音響変換器１８０から合成音声が発せられる。
【００７３】
上記のように、検索キーと被検索キーとが完全に一致するような韻律情報が韻律情報データベース１３０に格納されていない場合でも、類似した韻律情報によって音声合成が行われるので、比較的適切、かつ、むらのない自然な音声を発声させることができる。また、逆に、合成音声の自然さを損なうことなく、韻律情報データベース１３０の記憶容量を低減することができる。さらに、上記のように類似した韻律情報が用いられる場合に、その類似の程度に応じて韻律情報が変形されるので、より適切な合成音声が発せられる。
【００７４】
（実施の形態２）
実施の形態２の音声合成システムとして、アクセント句の前後のポーズ長も韻律情報として韻律情報データベースに格納された音声合成システムの例を説明する。なお、以下の実施の形態において、前記実施の形態１等と同様の機能を有する構成要素については、同一または対応する符号を付して詳細な説明を省略する。
【００７５】
図６は、実施の形態２の音声合成システムの構成を示す機能ブロック図である。この音声合成システムは、実施の形態１の音声合成システムと比べて、以下の点が異なっている。
【００７６】
（ａ）言語処理部２２０は、言語処理部１２０と異なり、ポーズ情報が含まれない表音記号列を出力するようになっている。
【００７７】
（ｂ）韻律情報データベース２３０には、図７に示すように、韻律情報データベース１３０と異なり、ポーズ情報が被検索キーとしてではなく韻律情報として格納されている。なお、実際には、韻律情報データベース１３０と同じデータ構造のものを用いて、検索時に、ポーズ長を韻律情報として取り扱うようにしてもよい。
【００７８】
（ｃ）韻律情報検索部２４０は、ポーズ情報を含まない検索キー、被検索キーの照合によって検索を行い、（基本周波数パタン、音声強度パタン、音韻時間長パタンに加えて）ポーズ情報も韻律情報として出力するようになっている。
【００７９】
（ｄ）韻律情報変形部２５０は、ポーズ情報も、基本周波数パタン等と同様に、近似コストに応じて変形するようになっている。
【００８０】
（ｅ）韻律情報変形規則記憶部２６０は、基本周波数パタン変形規則等とともに、ポーズ長変更規則も保持するようになっている。
【００８１】
上記のように、韻律情報データベース２３０から検索されたポーズ情報を用いることによって、ポーズ長がより自然な合成音声を発声させることができる。また、言語処理部２２０における入力テキスト解析処理の負荷を軽減することもできる。
【００８２】
なお、実施の形態１と同様に、検索時に言語処理部から出力されたポーズ情報も検索キーとして用いるようにして、検索精度を容易に高め得るようにしてもよい。この場合、韻律情報データベースには、被検索キーとしてのポーズ情報と韻律情報としてのポーズ情報とを別個に格納するようにしてもよいし、兼用されるようにしてもよい。また、このように、ポーズ情報が言語処理部から出力されるとともに韻律情報データベースにも格納されている場合、何れのポーズ情報を用いて音声合成するかは、言語処理部による解析精度と、韻律情報データベースから検索されるポーズ情報の信頼性とに応じて選択すればよく、さらに、近似コスト（検索結果の確からしさ）に応じて、何れを選択するかを決定するようにしてもよい。
【００８３】
（実施の形態３）
実施の形態３の音声合成システムとして、韻律情報の検索および変形が、基本周波数パタン等でそれぞれ別個の近似コストに基づいて行われる音声合成システムの例を説明する。
【００８４】
図８は、実施の形態３の音声合成システムの構成を示す機能ブロック図である。この音声合成システムは、前記実施の形態１の音声合成システムと比べて、以下の点が異なっている。
【００８５】
（ａ）韻律情報検索部１４０に代えて、基本周波数パタン検索部３４１、音声強度パタン検索部３４２、および音韻時間長パタン検索部３４３が設けられている。
【００８６】
（ｂ）韻律情報変形部１５０に代えて、基本周波数パタン変形部３５１、音声強度パタン変形部３５２、および音韻時間長パタン変形部３５３が設けられている。
【００８７】
上記各検索部３４１〜３４３、および各変形部３５１〜３５３は、それぞれ、以下の（数２）〜（数４）により得られる近似コストを用いて、基本周波数パタン、音声強度パタン、または音韻時間長パタンを独立して検索（検索候補を選択）、または変形するようになっている。
【数２】
【００８８】
（基本周波数パタンの検索、変形）
Ｃ＝ｂ１・Ｄ１＋ｂ２・Ｄ２＋ｂ３・Ｄ３＋ｂ４・Ｄ４＋ｂ５・Ｄ５＋ｂ６・Ｄ６＋ｂ７・Ｄ７
【数３】
【００８９】
（音声強度パタンの検索、変形）
Ｃ＝ｃ１・Ｄ１＋ｃ２・Ｄ２＋ｃ３・Ｄ３＋ｃ４・Ｄ４＋ｃ５・Ｄ５＋ｃ６・Ｄ６＋ｃ７・Ｄ７
【数４】
【００９０】
（音韻時間長パタンの検索、変形）
Ｃ＝ｄ１・Ｄ１＋ｄ２・Ｄ２＋ｄ３・Ｄ３＋ｄ４・Ｄ４＋ｄ５・Ｄ５＋ｄ６・Ｄ６＋ｄ７・Ｄ７
ここで、上記Ｄ１〜Ｄ７は、実施の形態１の（数１）と同じであるが、重みづけの係数ｂ１〜ｂ７、ｃ１〜ｃ７、ｄ１〜ｄ７は、（数１）のａ１〜ａ７と異なり、それぞれ、適切な基本周波数パタン、音声強度パタン、または音韻時間長パタンの選択が行われるように、統計的手法や学習によって求めたものが用いられている。すなわち、例えば、一般的に基本周波数パタンはアクセント位置およびモーラ数が同じであれば、おおよそ類似したものであるため、係数ｂ２、ｂ３が（数１）の係数ａ２、ａ３よりも大きく設定されている。また、音声強度パタンはポーズの有無や長さの寄与程度が大きいため、係数ｃ４、ｃ５が係数ａ４、ａ５よりも大きく設定されている。同様に、音韻時間長パタンは音素列の並びの寄与程度が大きいため、係数ｄ１が係数ａ１よりも大きく設定されている。
【００９１】
上記のように、基本周波数パタン等の検索、変形を別個の近似コストを用いて独立して行うことにより、バランスの良い検索および変形を行うことができ、それぞれ最適な基本周波数パタン等に基づいて音声合成を行うことができる。また、韻律情報データベース１３０には、基本周波数パタン、音声強度パタン、および音韻時間長パタンを組にして格納する必要はなく、例えばそれぞれのパタンごとの種類の数だけ格納すればよいので、比較的小さな記憶容量の韻律情報データベース１３０で、良好な音質の合成音声を発声させることができる。
【００９２】
（実施の形態４）
実施の形態４の音声合成システムについて説明する。
【００９３】
図９は、実施の形態４の音声合成システムの構成を示す機能ブロック図である。この音声合成システムは、主として、次のような特徴を有している。
【００９４】
（ａ）前記実施の形態１〜３と異なり、韻律情報の検索や変形等の処理が、アクセント句単位ではなく、フレーズ単位で行われる。ここで、上記フレーズは、節または呼気段落などとも称され、通常、発声される際に（句点がある場合と同様に）区切りとなる、１または複数のアクセント句の集まりである。
【００９５】
（ｂ）実施の形態２と同様に、ポーズ情報が韻律情報として格納された韻律情報データベース４３０、および基本周波数パタン変形規則等とともにポーズ長変更規則も格納された韻律情報変形規則記憶部４６０が設けられている。ただし、これらは、図１０に示すように、韻律情報や変形規則がフレーズ単位でも格納されている点で、実施の形態２の韻律情報データベース２３０、および韻律情報変形規則記憶部２６０と異なっている。
【００９６】
（ｃ）実施の形態３と同様に、韻律情報の検索および変形は、基本周波数パタン等でそれぞれ別個の近似コストに基づいて行われる。また、ポーズ情報の検索およびポーズ長の変更も、同様に独立して行われる。
【００９７】
（ｄ）韻律情報の変形は、実施の形態１〜３と同様に、近似コストに応じて行われるとともに、さらに、検索キーと被検索キーとの音素列における音素ごとの一致度（一致の程度や有無）に応じても行われる点が異なっている。
【００９８】
以下、より詳しく説明する。
【００９９】
言語処理部４２０は、実施の形態１の言語処理部１２０と同様に、文字列入力部１１０から入力されたテキストを解析し、アクセント句ごとに分離した後、所定のアクセント句のまとまりであるフレーズ単位で、表音記号列、および言語情報を出力するようになっている。
【０１００】
韻律情報データベース４３０には、上記のように韻律情報がフレーズ単位で格納されているが、これに伴って、さらに、図１０に示すように各フレーズに含まれるアクセント句の数も被検索キーとして格納されている。なお、韻律情報として格納されるポーズ情報は、フレーズの前後のポーズ長に限らず、アクセント句の前後のポーズ長も含めるようにしてもよい。
【０１０１】
基本周波数パタン検索部４４１、音声強度パタン検索部４４２、音韻時間長パタン検索部４４３、およびポーズ情報検索部４４４は、フレーズ単位で韻律情報の検索を行うために、近似コストとして、フレーズに含まれるアクセント句の数も考慮するようになっている。また、ポーズ情報検索部４４４以外は、検索された基本周波数パタン等、および近似コストとともに、検索キーと被検索キーとの音素列における音素ごとの一致度も出力するようになっている一方、ポーズ情報検索部４４４は、ポーズ情報、および近似コストとともに、アクセント句ごとのモーラ数やアクセント位置などの一致度を出力するようになっている。
【０１０２】
基本周波数パタン変形部４５１、音声強度パタン変形部４５２、および音韻時間長パタン変形部４５３は、実施の形態１〜３の韻律情報変形部１５０等と同様に、韻律情報変形規則記憶部４６０に保持されている規則を用い、基本周波数パタン検索部４４１等から出力された近似コストに応じて韻律情報の変形を行うとともに、さらに、検索キーと被検索キーとの音素列における音素ごとの一致度に応じても変形を行うようになっている。すなわち、例えば「たかな」に対して「さかな」のように一部の音素だけが異なる言葉の韻律情報が用いられる場合に、異なる音素についての音声強度パタンを、図２に記号Ｐで示す部分のように弱くして、音素の相違の影響が目立ちにくくなるような変形を容易にすることができる。なお、このような音素ごとの一致度に応じた変形は必ずしもしなくてもよいし、また、近似コストに応じた変形を行わずに音素ごとの一致度に応じた変形だけを行うなどしてもよい。
【０１０３】
また、ポーズ長変更部４５４は、韻律情報変形規則記憶部４６０に保持されている規則を用い、ポーズ情報検索部４４４から出力された近似コストに応じて韻律情報の変形を行うとともに、さらに、アクセント句ごとのモーラ数やアクセント位置などの一致度に応じて、ポーズ長の変更を行うようになっている。
【０１０４】
上記のように、フレーズ単位で韻律情報の検索や変形等を行うことによって、文の流れに沿った、より自然な合成音声を発声させることができる。また、実施の形態２と同様に、韻律情報データベース４３０から検索されたポーズ情報を用いることによって、ポーズ長がより自然な合成音声を発声させることができるとともに、実施の形態３と同様に、基本周波数パタン等の検索、変形を別個の近似コストを用いて独立して行うことにより、それぞれ最適な基本周波数パタン等に基づいて音声合成を行うことができ、韻律情報データベース４３０の記憶容量を低減することも容易にできる。さらに、音素ごとの一致度に応じた基本周波数パタン等の変形を行うことによって、音素の相違の影響が目立ちにくくすることができるとともに、アクセント句ごとのモーラ数やアクセント位置などの一致度に応じてもポーズ長の変更等を行うことにより、ポーズ長がより自然な合成音声を発声させることなどができる。
【０１０５】
（実施の形態５）
実施の形態５の音声合成システムとして、韻律情報の検索に音韻カテゴリ列が用いられる例を説明する。
【０１０６】
図１１は、実施の形態５の音声合成システムの構成を示す機能ブロック図である。図１２は、音韻カテゴリの例を示す説明図である。
【０１０７】
ここで、上記音韻カテゴリは、音韻を、各音韻間の音声学的特徴から求めた距離によって、すなわち各音韻の調音方式、調音位置、継続時間長などによってグループ化したものである。つまり、この音韻カテゴリを同じくする音素どうしは、類似した音響特性を有しているため、例えば、あるアクセント句と、そのうちの一部の音素が、同じ音韻カテゴリの他の音素に入れ代わったアクセント句とは、同一、または比較的類似した韻律情報を有していることが多い。そこで、韻律情報の検索において、音素列が一致していない場合でも、各音素の音韻カテゴリが一致している場合には、韻律情報を流用しても、多くの場合、適切な合成音声を発声させることができる。なお、音韻のグループ化は、上記に限らず、例えば、図１２に示すように、音韻どうしの異聴表から多変量解析などを用いて決定した音韻間の距離（心理距離）に従って音韻をグループ化したり、音韻の物理特性（音韻の基本周波数、強度、時間長、およびスペクトルなど）の類似度に従ってグループ化したり、また、韻律パタンを多変量解析などの統計的手法を用いてグループ化し、上記韻律パタンのグループを最も良く反映するように、音韻を統計的手法を用いてグループ化したりしてもよい。
【０１０８】
以下、具体的に説明する。この実施の形態５の音声合成システムは、実施の形態１の音声合成システムに比べると、韻律情報データベース１３０に代えて韻律情報データベース７３０を備えるとともに、さらに、音韻カテゴリ列生成部７９０を備えている点が異なる。
【０１０９】
上記韻律情報データベース７３０には、実施の形態１の韻律情報データベース１３０の格納内容に加えて、さらに、アクセント句の各音素が属する音韻カテゴリを示す音韻カテゴリ列が、被検索キーとして格納されている。ここで、音韻カテゴリ列の具体的な表記としては、例えば、各音韻カテゴリに割り当てた番号や記号の列として表したり、各音韻カテゴリ内の何れかの音素を代表音素として、その代表音素の列として表したりすればよい。
【０１１０】
音韻カテゴリ列生成部７９０は、言語処理部１２０から出力されるアクセント句ごとの表音記号列を音韻カテゴリ列に変換して出力するようになっている。
【０１１１】
韻律情報検索部７４０は、音韻カテゴリ列生成部７９０から出力された音韻カテゴリ列、および言語処理部１２０から出力されたアクセント句ごとの表音記号列と言語情報とに基づいて、韻律情報データベース７３０の韻律情報を検索し、検索された韻律情報と、近似コストとを出力するようになっている。上記近似コストは、音韻カテゴリ列の一致程度（例えば音韻ごとの音韻カテゴリの類似程度）を含めることにより、例えば音素列が一致しない場合でも、音韻カテゴリ列が一致している場合には小さな値にすることができるため、より適切な韻律情報が検索（選択）され、自然な合成音声が発声される。また、例えば、まず検索候補を音韻カテゴリ列が一致または類似するものに絞ることによって、検索速度を向上させることなども容易になる。
【０１１２】
なお、上記の例では、言語処理部１２０から出力された表音記号列を音韻カテゴリ列生成部７９０によって音韻カテゴリ列に変換する例を示したが、これに限らず、言語処理部１２０に音韻カテゴリ列を生成させる機能を持たせるようにしたり、韻律情報検索部７４０に、入力された表音記号列を音韻カテゴリ列に変換する機能を持たせるようにしてもよい。また、韻律情報検索部７４０に、韻律情報データベースから読み出した音素列を音韻カテゴリ列に変換する機能を持たせれば、実施の形態１の韻律情報データベース１３０と同様の音韻カテゴリ列が格納されていない韻律情報データベースを用いることもできる。
【０１１３】
また、音素列と音韻カテゴリ列とを共に検索キーとして用いるものに限らず、音韻カテゴリ列だけを用いるようにしてもよい。この場合には、音素列だけが異なる韻律情報はまとめることができるので、データベースの容量を低減したり、検索速度を向上させたりすることが容易にできる。
【０１１４】
なお、上記各実施の形態や変形例で説明した構成要素は、種々組み合わせるなどしてもよい。具体的には、例えば、実施の形態５で示した、音韻カテゴリ列を韻律情報の検索等に用いる手法は、他の実施の形態などに適用してもよい。
【０１１５】
また、実施の形態３、４で示した、音素ごとの一致度に応じた韻律情報の変形も、他の実施の形態などにおいて、近似コストに応じた変形に代えて、またはこれとともに用いることができる。なお、さらに、音素ごとや、モーラごと、音節ごと、波形生成部における音声波形の生成単位ごと、音韻ごとの一致度などを用いて変形するようにしてもよい。また、変形する韻律情報に応じて、用いる一致度を選択してもよい。具体的には、例えば基本周波数パタンの変形には、近似コストまたは音素ごとなどの一致度の何れかを用い、音声強度パタンの変形には、双方を共に用いるなどしてもよい。ここで、上記音素等の一致度は、例えば基本周波数や、強度、時間長、スペクトルなどの音響特性に基づく距離、調音方式、調音位置、継続時間長などにより音声学的に求められた距離、または聴取実験による異聴表に基づく距離などに基づいて定めることができる。
【０１１６】
また、実施の形態５で示した音韻カテゴリを検索等に用いる方法も、他の実施の形態などにおいても、音素列を用いるのに代えて、またはこれとともに用いることができる。
【０１１７】
また、実施の形態２、４で示したように、ポーズ情報が韻律情報として韻律情報データベースに格納されて検索される構成も他の実施の形態などに適用してもよいし、逆に、実施の形態２、４などにおいてポーズ情報も検索に用いるようにしてもよい。
【０１１８】
また、言語処理部は必ずしも備える必要はなく、直接、表音記号列などを外部から入力するようにしてもよい。このような構成は、例えば携帯電話のように小型の機器に適用する場合などに特に有用であり、装置の小型化や通信データの圧縮などがより容易になる。また、表音記号列と言語情報とを外部から入力するようにしてもよい。すなわち、例えば大規模なサーバを用いて精度の高い言語処理を行い、その結果が入力されるようにして、さらに適切な音声を発声させることもできる。一方、簡易に表音記号列などだけを用いるようにして構成の簡素化を図るようにしてもよい。
【０１１９】
また、音声を合成するための韻律情報は上記のものに限るものではない。例えば、音韻時間長パタンに代えて、音素時間長パタンや、モーラ時間長パタン、音節時間長パタンなどを用いてもよい。また、上記のような時間長パタンを含めて種々の韻律情報を組み合わせてもよい。
【０１２０】
また、韻律制御単位、すなわち韻律情報の格納、検索、変形などの単位は、アクセント句または１以上のアクセント句から成るフレーズの何れでもよいし、さらに、文節、単語、ストレス句単位や、１以上の文節、単語、ストレス句から成るフレーズ単位などでもよいし、これらを混在させてもよい。また、韻律制御単位（例えば１以上のアクセント句から成るフレーズ）とは別に、例えば韻律情報の変形等に他の単位（例えばアクセント句）ごとのモーラ数やアクセント位置等の一致度を用いるなどしてもよい。
【０１２１】
また、検索キーの項目や数は上記のものに限るものではない。すなわち、一般には検索キーの項目は多い方が適切な候補が検索されやすいが、最適な候補が検索されやすいように各項目の一致度の決定や重み付けのし方などとともに最適化すればよい。また、検索精度への寄与程度が小さい検索キーは省略して、構成の簡素化、処理速度の向上を図るようにしてもよい。
【０１２２】
また、上記の例では、日本語を例に挙げて説明したが、これに限らず、種々の言語に対しても、同様に容易に応用することができる。その場合、それぞれの言語の特性に応じた変形、例えばモーラ単位の処理をモーラまたはシラブル単位の処理とするなどの変形を加えてもよい。また、韻律情報データベース１３０等には、複数の言語についての情報を格納するなどしてもよい。
【０１２３】
また、上記のような構成はコンピュータ（および周辺機器）とプログラムによって実装してもよいし、ハードウェアによって実装してもよい。
【０１２４】
【発明の効果】
以上説明したように、本発明によれば、例えば実音声から抽出された基本周波数パタンや、音声強度パタン、音素時間長パタン、ポーズ情報などの韻律情報をデータベースとして保持し、テキストや表音記号列などとして入力された発声目標に対して、例えば近似コストが最小となるような韻律情報をデータベースより検索して選択し、近似コストや一致度等に応じて、所定の変形規則に基づき、選択された韻律情報を変形することにより、任意の入力テキスト等に応じた自然な合成音声を発声させることができる。特に、音声情報データベース内に、入力テキスト等に対応する発声内容が存在してもしなくても、同様の音質で、すなわち、全体として実音声に近い自然な合成音声を発声させることができるという効果を奏する。
【０１２５】
したがって、本発明は、家庭電化製品や、カーナビゲーションシステム、携帯電話などの種々の電子機器において、機器の状態や、操作などの指示、応答メッセージ等のメッセージを発声させるため、また、パーソナルコンピュータなどにおいて、音声インタフェイスによる操作や、光学文字認識（ＯＣＲ）による文字認識結果の確認などに用いることができ、上記のような分野などにおいて有用である。
【図面の簡単な説明】
【図１】実施の形態１の音声合成システムの構成を示す機能ブロック図である。
【図２】実施の形態１の音声合成システムの各部の情報の例を示す説明図である。
【図３】実施の形態１の音声合成システムの韻律情報データベースの記憶内容を示す説明図である。
【図４】基本周波数パタンの変形の例を示す説明図である。
【図５】韻律情報の変形の例を示す説明図である。
【図６】実施の形態２の音声合成システムの構成を示す機能ブロック図である。
【図７】実施の形態２の音声合成システムの韻律情報データベースの記憶内容を示す説明図である。
【図８】実施の形態３の音声合成システムの構成を示す機能ブロック図である。
【図９】実施の形態４の音声合成システムの構成を示す機能ブロック図である。
【図１０】実施の形態４の音声合成システムの韻律情報データベースの記憶内容を示す説明図である。
【図１１】実施の形態５の音声合成システムの構成を示す機能ブロック図である。
【図１２】音韻カテゴリの例を示す説明図である。
【図１３】従来の音声合成システムの構成を示す機能ブロック図である。
【符号の説明】
１１０    文字列入力部
１２０    言語処理部
１３０    韻律情報データベース
１４０    韻律情報検索部
１５０    韻律情報変形部
１６０    韻律情報変形規則記憶部
１７０    波形生成部
１８０    電気音響変換器
２２０    言語処理部
２３０    韻律情報データベース
２４０    韻律情報検索部
２５０    韻律情報変形部
２６０    韻律情報変形規則記憶部
３４１    基本周波数パタン検索部
３４２    音声強度パタン検索部
３４３    音韻時間長パタン検索部
３５１    基本周波数パタン変形部
３５２    音声強度パタン変形部
３５３    音韻時間長パタン変形部
４２０    言語処理部
４３０    韻律情報データベース
４４１    基本周波数パタン検索部
４４２    音声強度パタン検索部
４４３    音韻時間長パタン検索部
４４４    ポーズ情報検索部
４５１    基本周波数パタン変形部
４５２    音声強度パタン変形部
４５３    音韻時間長パタン変形部
４５４    ポーズ長変更部
４６０    韻律情報変形規則記憶部
７３０    韻律情報データベース
７４０    韻律情報検索部
７９０    音韻カテゴリ列生成部
【図１】
0003576066.tif 000002
【図２】
0003576066.tif 000003
【図３】
0003576066.tif 000004
【図４】
0003576066.tif 000005
【図５】
0003576066.tif 000006
【図６】
0003576066.tif 000007
【図７】
0003576066.tif 000008
【図８】
0003576066.tif 000009
【図９】
0003576066.tif 000010
【図１０】
0003576066.tif 000011
【図１１】
0003576066.tif 000012
【図１２】
0003576066.tif 000013
【図１３】
0003576066.tif 000014