(57)【要約】【課題】自然でより高音質な合成音声を生成することができる音声合成方法及び装置を提供する。【解決手段】目標音声に対応する音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、前記目標音声に対応する韻律情報を基に音声素片群から複数の第１の音声素片を選択し、前記複数の第１の音声素片を融合することによって、前記複数のセグメントのそれぞれに対して、第２の音声素片を生成し、前記第２の音声素片を接続することによって合成音声を生成する。【選択図】      図２
2005164749.tif 000002
【特許請求の範囲】
【請求項１】
目標音声に対応する音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、前記目標音声に対応する韻律情報を基に音声素片群から複数の第１の音声素片を選択する選択ステップと、
前記複数の第1の音声素片を融合することによって、前記複数のセグメントのそれぞれに対して、第2の音声素片を生成する第1の生成ステップと、
前記第２の音声素片を接続することによって合成音声を生成する第２の生成ステップと、
を有することを特徴とする音声合成方法。
【請求項２】
前記選択ステップは、前記合成音声を前記音声素片群を用いて生成したときに生ずる前記合成音声の前記目標音声に対する歪みの度合いを推定するステップを含み、この度合いを基に前記複数のセグメントのそれぞれに対し前記複数の第１の音声素片を選択することを特徴とする請求項１記載の音声合成方法。
【請求項３】
前記選択ステップは、推定された前記歪の度合いが最も小さくなるように、前記複数のセグメントのそれぞれに対し1個の第3の音声素片を選択する第２のステップを含み、前記第３の音声素片を基に前記複数のセグメントのそれぞれに対し前記複数の第１の音声素片を選択することを特徴とする請求項２記載の音声合成方法。
【請求項４】
目標音声に対応する音韻系列と韻律情報に基づき第１の音声素片群から選択された複数の第１の音声素片を接続して合成音声を生成する音声合成方法において、
教師音声に対応する音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、前記教師音声に対応する韻律情報を基に第２の音声素片群の中から複数の第２の音声素片を選択する第１のステップと、
前記複数のセグメントのそれぞれに対して、前記複数の第２の音声素片を融合することによって、前記第１の音声素片群を構成する第３の音声素片を生成する第２のステップと、
を有し、
前記第1のステップは、前記第2の音声素片を用いて合成音声を生成したときに生ずる前記合成音声の前記教師音声に対する歪の度合いを推定するステップを含み、この度合いを基に前記複数の第2の音声素片を選択することを特徴とする音声合成方法。
【請求項５】
前記韻律情報は、基本周波数、音韻継続時間長、パワーのうち少なくとも１つを含むことを特徴とする請求項１または４記載の音声合成方法。
【請求項６】
前記歪の度合いを推定するステップは、前記音声素片群のうちの１つに対応する前記歪の度合いを、目標音声と当該音声素片を使用したときに生ずる合成音声の前記歪みの度合いを表す第１のコストと、当該音声素片と前記音声素片群のうちの他の１つとを接続したときに生ずる前記歪みの度合いを表す第２のコストとに基づいて算出することを特徴とする請求項２記載の音声合成方法。
【請求項７】
前記第１のコストは、基本周波数、音韻継続時間長、パワー、音韻環境、スペクトルのうち少なくとも１つを用いて算出することを特徴とする請求項６記載の音声合成方法。
【請求項８】
前記第２のコストは、スペクトル、基本周波数、パワーのうち少なくとも１つを用いて算出することを特徴とする請求項６記載の音声合成方法。
【請求項９】
前記第１の生成ステップは、
前記複数の第１の音声素片のそれぞれに対応する複数の第１のピッチ波形系列から、それぞれに含まれるピッチ波形の数が同じである複数の第２のピッチ波形系列を生成するステップを含み、
前記複数の第２のピッチ波形系列を、ピッチ波形ごとに融合することにより前記第２の音声素片を生成することを特徴とする請求項１記載の音声合成方法。
【請求項１０】
前記複数の第２のピッチ波形系列を、ピッチ波形毎に当該複数の第２のピッチ波形系列のセントロイドを求めることにより前記第２の音声素片を生成することを特徴とする請求項９記載の音声合成方式。
【請求項１１】
前記第２のステップは、
前記複数の第２の音声素片のそれぞれに対応する複数の第１のピッチ波形系列から、それぞれに含まれるピッチ波形の数が同じである複数の第２のピッチ波形系列を生成するステップを含み、
前記複数の第２のピッチ波形系列を、ピッチ波形ごとに融合することにより前記第１の音声素片を生成することを特徴とする請求項４記載の音声合成方法。
【請求項１２】
前記複数の第２のピッチ波形系列を、ピッチ波形毎に当該複数の第２のピッチ波形系列のセントロイドを求めることにより前記第１の音声素片を生成することを特徴とする請求項１１記載の音声合成方法。
【請求項１３】
音声素片群を記憶する記憶手段と、
目標音声に対応する音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、前記目標音声に対応する韻律情報を基に前記音声素片群から複数の第１の音声素片を選択する選択手段と、
前記複数のセグメントのそれぞれに対して、前記複数の第１の音声素片を融合することによって、第2の音声素片を生成する第１の生成手段と、
前記第２の音声素片を接続することによって合成音声を生成する第２の生成手段と、
を具備したことを特徴とする音声合成装置。
【請求項１４】
教師音声に対応する音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、前記教師音声に対応する韻律情報を基に第２の音声素片群の中から複数の第２の音声素片を選択し、前記複数のセグメントのそれぞれに対して、前記複数の第２の音声素片を融合することによって生成される第１の音声素片群を記憶する第１の記憶手段と、
目標音声に対応する音韻記号列と韻律情報に基づき前記第１の音声素片群から選択された複数の第１の音声素片を接続して合成音声を生成する第１の生成手段と、
を具備したことを特徴とする音声合成装置。
【請求項１５】
目標音声に対応する音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、前記目標音声に対応する韻律情報を基に音声素片群から複数の第１の音声素片を選択する選択ステップと、
前記複数の第１の音声素片を融合することによって、前記複数のセグメントのそれぞれに対して、第２の音声素片を生成する第１の生成ステップと、
前記第２の音声素片を接続することによって合成音声を生成する第２の生成ステップと、
をコンピュータに実行させる音声合成プログラム。
【請求項１６】
第１の音声素片群は、教師音声に対応する音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、前記教師音声に対応する韻律情報を基に第２の音声素片群の中から複数の第２の音声素片を選択し、前記複数のセグメントのそれぞれに対して、前記複数の第２の音声素片を融合することによって生成されたものであり、
目標音声に対応する音韻記号列と韻律情報に基づき前記第１の音声素片群から選択された複数の第１の音声素片を接続して合成音声の生成をコンピュータに実行させる音声合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト音声合成のための音声合成方法及び装置に係り、特に音韻系列と、基本周波数及び音韻継続時間長などの韻律情報から音声信号を生成する音声合成方法及び装置に関する。
【背景技術】
【０００２】
任意の文章から人工的に音声信号を作り出すことをテキスト音声合成という。テキスト音声合成は、一般的に言語処理部、韻律処理部および音声合成部の３つの段階によって行われる。
【０００３】
入力されたテキストは、まず言語処理部において形態素解析や構文解析などが行われ、次に韻律処理部においてアクセントやイントネーションの処理が行われて、音韻系列・韻律情報（基本周波数、音韻継続時間長、パワーなど）が出力される。最後に、音声信号合成部で音韻系列・韻律情報から音声信号を合成する。そこで、テキスト音声合成に用いる音声合成方法は、任意の音韻記号列を任意の韻律で音声合成することが可能な方法でなければならない。
【０００４】
従来、このような音声合成方法として、音声合成単位がＣＶ、ＣＶＣ、ＶＣＶ（Ｖは母音、Ｃは子音を表す）といった小さな単位の特徴パラメータ（これを代表音声素片という）を記憶し、これらを選択的に読み出した後、基本周波数や継続時間長を制御して接続することにより、音声を合成するというものがある。この方式では、記憶されている代表音声素片が音声合成の品質を大きく左右することになる。
【０００５】
音声合成に使用するのに適した代表音声素片を、自動的に容易に生成する方法として、例えば音素環境クラスタリング（ＣＯＣ）とよばれる技術が開示されている（例えば、特許文献１参照）。ＣＯＣでは、予め記憶された大量の音声素片を、それらの音素環境からクラスタリングし、クラスタごとに音声素片を融合して代表素片が生成される。
【０００６】
ＣＯＣの原理は、音素名や音素環境が付与された多数の音声素片を、音声素片間の距離尺度に基づいて音素環境に関する複数のクラスタに分類し、その各クラスタのセントロイドを代表音声素片とするものである。ここで、音素環境とは当該音声素片にとっての環境となる要因の組み合わせであり、その要因としては当該音声素片の音素名、先行音素、後続音素、後々続音素、基本周波数、音韻継続時間長、パワー、ストレスの有無、アクセント核からの位置、息継ぎからの時間、発声速度、感情などが考えられる。
【０００７】
実音声中の各音素は音素環境によって音韻が変化しているため、音素環境に関する複数のクラスタごとに代表素片を記憶しておくことにより、音素環境の影響を考慮した自然な音声を合成することが可能となっている。
【０００８】
また、より品質の良い代表音声素片の生成法として閉ループ学習とよばれる技術が開示されている（例えば特許文献２参照）。この方法の原理は、実際に基本周波数や音韻継続時間長を変更して合成された合成音声のレベルで、自然音声に対する歪が小さくなるような代表音声素片を生成するものである。この手法とＣＯＣとは、複数の音声素片から代表音声素片を生成する手法が異なり、ＣＯＣではセントロイドを使って素片を融合しているが、閉ループ学習では合成音声のレベルで歪が小さくなるような素片を生成する。
【０００９】
また、代表音声素片を作らずに、入力された音韻系列・韻律情報を目標にして、大量の音声素片から音声素片系列を直接選択して合成する素片選択型の音声合成方法がある。この手法と、代表音声素片を使用する音声合成方法との相違点は、代表音声素片を作らず、予め記憶された大量の音声素片のなかから直接、入力された目標音声の音韻系列・韻律情報に基づき音声素片を選択する点である。素片選択の規則としては、音声を合成することで生じる合成音声の劣化の度合いを表すコストを出力するコスト関数を定義して、コストが小さくなるように素片系列を選択する方法などがある。例えば、音声素片を編集・接続することで生じる変形歪と接続歪をコストとして数値化し、このコストに基づいて音声合成に使用する音声素片系列を選択し、選ばれた音声素片系列に基づいて合成音声を生成する方法が開示されている（例えば、特許文献３参照）。大量の音声素片から適切な音声素片系列を選択することで、素片の編集及び接続における音質の劣化を抑えた合成音声を作ることができる。
【特許文献１】特許第２５８３０７４号明細書
【特許文献２】特許第３２８１２８１号明細書
【特許文献３】特開２００１−２８２２７８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
代表音声素片を使用する音声合成方法では、あらかじめ限定された代表音声素片を作っておくために、入力される韻律や音韻環境の多様なバリエーションに対応することが難しく、素片の編集及び接続において音質の劣化が発生してしまうという問題点があった。
【００１１】
一方、素片選択型の音声合成方法では、多くの音声素片から選択することができるため、素片の編集及び接続における音質の劣化を抑えることができるが、人が自然に聞こえるような音声素片系列を選択する規則をコスト関数として定式化することが困難であり、最適な音声素片系列が選ばれないことで合成音の音質が劣化してしまう問題点があった。また、選択に使用する音声素片の数が多いため、あらかじめ不良素片を排除しておくことが実用上困難であり、不良素片を取り除く規則をコスト関数の設計に反映させることも難しいために、突発的に音声素片系列の中に不良素片が混入してしまい、合成音の品質を低下させてしまうという問題点もある。
【００１２】
そこで、本発明は、上記問題点に鑑み、自然で高音質な合成音声を生成することができる音声合成方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達するために、本願発明は、目標音声に対応する音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、前記目標音声に対応する韻律情報を基に音声素片群から複数の第１の音声素片を選択する選択ステップと、前記複数の第1の音声素片を融合することによって、前記複数のセグメントのそれぞれに対して、第2の音声素片を生成する第1の生成ステップと、前記第２の音声素片を接続することによって合成音声を生成する第２の生成ステップとを有することを特徴とする。
【００１４】
また、目標音声に対応する音韻系列と韻律情報に基づき第１の音声素片群から選択された複数の第１の音声素片を接続して合成音声を生成する音声合成方法において、教師音声に対応する音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、前記教師音声に対応する韻律情報を基に第２の音声素片群の中から複数の第２の音声素片を選択する第１のステップと、前記複数のセグメントのそれぞれに対して、前記複数の第２の音声素片を融合することによって、前記第１の音声素片群を構成する第３の音声素片を生成する第２のステップとを有し、前記第１のステップは、前記第２の音声素片を用いて合成音声を生成したときに生ずる前記合成音声の前記教師音声に対する歪の度合いを推定するステップを含み、この度合いを基に前記複数の第2の音声素片を選択することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、目標音声の音韻系列を合成単位で区切ることにより得られる 複数のセグメントのそれぞれに対し高品質な音声素片を生成することができ、その結果、より自然でより高音質な合成音を生成することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施形態を説明する。
【００１７】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るテキスト音声合成装置の構成を示すブロック図である。このテキスト音声合成装置は、テキスト入力部３１、言語処理部３２、韻律処理部３３、音声合成部３４、音声波形出力部１０から構成される。言語処理部３２は、テキスト入力部３１から入力されるテキストの形態素解析・構文解析を行い、その結果を韻律処理部３３へ送る。韻律処理部３３は、言語解析結果からアクセントやイントネーションの処理を行い、音韻系列（音韻記号列）及び韻律情報を生成し、音声合成部３４へ送る。音声合成部３４は、音韻系列及び韻律情報から音声波形を生成する。こうして生成された音声波形は音声波形出力部１０で出力される。
【００１８】
図２は、図１の音声合成部３４の構成例を示すブロック図である。図２において、音声合成部３４は、音声素片記憶部１、音素環境記憶部２、音韻系列・韻律情報入力部７、素片選択部１１、素片融合部５、素片編集・接続部９により構成される。
【００１９】
音声素片記憶部１には、大量の音声素片が蓄積されており、それらの音声素片の音素環境の情報（音素環境情報）が音素環境記憶部２に蓄積されている。音声素片記憶部１には、合成音声を生成する際に用いる音声の単位（合成単位）の音声素片が記憶されている。合成単位は、音素あるいは音素を分割したものの組み合わせであり、例えば、半音素、音素（Ｃ、Ｖ）、ダイフォン（ＣＶ、ＶＣ、ＶＶ）、トライフォン（ＣＶＣ、ＶＣＶ）、音節（ＣＶ、Ｖ）、などであり（Ｖは母音、Ｃは子音を表す）、これらが混在しているなど可変長であってもよい。また音声素片は、合成単位に対応する音声信号の波形もしくはその特徴を表すパラメータ系列などを表すものとする。
【００２０】
音声素片の音素環境とは、当該音声素片にとっての環境となる要因の組み合わせである。要因としては、例えば、当該音声素片の音素名、先行音素、後続音素、後々続音素、基本周波数、音韻継続時間長、パワー、ストレスの有無、アクセント核からの位置、息継ぎからの時間、発声速度、感情などがある。
【００２１】
音韻系列・韻律情報入力部７には、韻律処理部３３から出力された目標音声の音韻系列及び韻律情報が入力される。音韻系列・韻律情報入力部７に入力される韻律情報としては、基本周波数、音韻継続時間長、パワーなどがある。
【００２２】
以下、音韻系列・韻律情報入力部７に入力される音韻系列と韻律情報を、それぞれ入力音韻系列、入力韻律情報と呼ぶ。入力音韻系列は、例えば音韻記号の系列である。
【００２３】
素片選択部１１は、入力音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、入力韻律情報を基に音声素片記憶部１に記憶されている音声素片のなかから複数の音声素片を選択する。
【００２４】
素片融合部５は、複数のセグメントのそれぞれに対し素片選択部１１で選択された複数の音声素片を融合して、新たな音声素片を生成する。その結果、入力音韻系列の音韻記号の系列に対応する新たな音声素片の系列が得られる。新たな音声素片の系列は、素片編集・接続部９において、入力韻律情報に基づいて変形及び接続され、合成音声の音声波形が生成される。こうして生成された音声波形は音声波形出力部１０で出力される。
【００２５】
図３は、音声合成部３４における処理の流れを示すフローチャートである。まず、ステップＳ１０１において、素片選択部１１は入力音韻系列及び入力韻律情報に基づいて、各セグメントに対し、音声素片記憶部１に記憶されている音声素片のなかから複数の音声素片を選択する。
【００２６】
各セグメントに対し選択される複数の音声素片は、いずれも当該セグメントの音韻に対応するとともに、当該セグメントに対応する入力韻律情報で示されている韻律的な特徴と一致あるいは類似する音声素片である。各セグメントに対し選択される複数の音声素片のそれぞれは、合成音声を生成するために入力韻律情報に基づき当該音声素片を変形したときに生ずる当該合成音声の目標音声に対する歪みの度合いができるだけ少なくなるような音声素片である。しかも、各セグメントに対し選択される複数の音声素片のそれぞれは、合成音声を生成するために当該音声素片を当該セグメントの隣のセグメントの音声素片と接続した際に生ずる当該合成音声の目標音声に対する歪みの度合いができるだけ少なくなるような音声素片である。本実施形態では、セグメント毎に、後述するコスト関数を用いて、目標音声に対する合成音声の歪みの度合いを推定しながら、このような複数の音声素片を選択する。
【００２７】
次に、ステップＳ１０２に進み、素片融合部５は、各セグメントに対し選択された複数の音声素片を融合し、セグメント毎に、新たな音声素片を生成する。次にステップＳ１０３に進み、新たな音声素片の系列を、入力された韻律情報に基づいて変形及び接続して音声波形を生成する。
【００２８】
以下、音声合成部３４の各処理について詳しく説明する。
【００２９】
ここでは、合成単位の音声素片は音素であるとする。音声素片記憶部１には、図４に示すように、各音素の音声信号の波形が当該音素を識別するための素片番号とともに記憶されている。また、音素環境記憶部２には、図５に示すように、音声素片記憶部１に記憶されている各音素の音素環境情報が、当該音素の素片番号に対応付けて記憶されている。ここでは、音素環境として、音素記号（音素名）、基本周波数、音韻継続時間長が記憶されている。
【００３０】
音声素片記憶部１に記憶されている各音声素片は、別途収集された多数の音声データに対して音素ごとにラベリングを行い、音素ごとに音声波形を切り出したものを、音声素片として蓄積したものである。
【００３１】
例えば、図６には、音声データ７１に対し、音素毎にラベリングを行った結果を示している。図６には、ラベリングの境界７２により区切られた各音素の音声データ（音声波形）について、音素記号を示している。なお、この音声データから、各音素についての音素環境の情報（例えば、音韻（この場合、音素名（音素記号））、基本周波数、音韻継続時間長など）も抽出する。このようにして音声データ７１から求めた各音声波形と、当該音声波形に対応する音素環境の情報には、同じ素片番号が与えられて、図４、図５に示すように、音声素片記憶部１と音素環境記憶部２にそれぞれ記憶される。ここでは、音素環境情報には、音声素片の音韻とその基本周波数及び音韻継続時間長を含むものとする。
【００３２】
なお、ここでは、音声素片が音素単位に抽出する場合をしめしているが、音声素片が半音素、ダイフォン、トライフォン、音節、あるいはこれらの組み合わせや可変長であっても上記同様である。
【００３３】
音韻系列・韻律情報入力部７には、音韻の情報として、テキスト音声合成のために入力テキストの形態素解析・構文解析後、更にアクセントやイントネーション処理を行って得られた韻律情報と音韻系列が入力される。入力韻律情報には、基本周波数及び音韻継続時間長が含まれていることとする。
【００３４】
図３のステップＳ１０１では、コスト関数に基づいて素片系列を求める。コスト関数は次のように定める。まず、音声素片を変形・接続して合成音声を生成する際に生ずる歪の要因ごとにサブコスト関数Ｃｎ（ｕｉ，ｕｉ−１，ｔｉ）（ｎ：１，…，Ｎ、Ｎはサブコスト関数の数）を定める。ここで、ｔｉは、入力音韻系列および入力韻律情報に対応する目標とする音声（目標音声）をｔ＝（ｔ１，…，ｔＩ）としたときのｉ番目のセグメントに対応する部分の音声素片の目標とする音素環境情報を表し、ｕｉは音声素片記憶部１に記憶されている音声素片のうち、ｔｉと同じ音韻の音声素片を表す。
【００３５】
サブコスト関数は、音声素片記憶部１に記憶されている音声素片を用いて合成音声を生成したときに生ずる当該合成音声の目標音声に対する歪みの度合いを推定するためのコストを算出するためのものである。当該コストを算出するために、ここでは、具体的には、当該音声素片を使用することによって生じる合成音声の目標音声に対する歪みの度合いを推定する目標コストと、当該音声素片を他の音声素片と接続したときに生じる当該合成音声の目標音声に対する歪みの度合いを推定する接続コストという２種類のサブコストがある。
【００３６】
目標コストとしては、音声素片記憶部１に記憶されている音声素片の基本周波数と目標の基本周波数との違い（差）を表す基本周波数コスト、音声素片の音韻継続時間長と目標の音韻継続時間長との違い（差）を表す音韻継続時間長コストを用いる。接続コストとしては、接続境界でのスペクトルの違い（差）を表すスペクトル接続コストを用いる。具体的には、基本周波数コストは、
【数１】
2005164749.tif 000003
【００３７】
から算出する。ここで、ｖｉは音声素片記憶部１に記憶されている音声素片ｕｉの音素環境を、ｆは音素環境ｖｉから平均基本周波数を取り出す関数を表す。また、音韻継続時間長コストは、
【数２】
2005164749.tif 000004
【００３８】
から算出する。ここで、ｇは音素環境ｖｉから音韻継続時間長を取り出す関数を表す。スペクトル接続コストは、２つの音声素片間のケプストラム距離：
【数３】
2005164749.tif 000005
【００３９】
から算出する。ここで、ｈは音声素片ｕｉの接続境界のケプストラム係数をベクトルとして取り出す関数を表す。これらのサブコスト関数の重み付き和を合成単位コスト関数と定義する：
【数４】
2005164749.tif 000006
【００４０】
ここで、ｗｎはサブコスト関数の重みを表す。本実施例では、簡単のため、ｗｎはすべて「１」とする。上記式（４）は、ある合成単位に、ある音声素片を当てはめた場合の当該音声素片の合成単位コストである。
【００４１】
入力音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、上記式（４）から合成単位コストを算出した結果を、全セグメントについて足し合わせたものをコストと呼び、当該コストを算出するためのコスト関数を次式（５）に示すように定義する：
【数５】
2005164749.tif 000007
【００４２】
図３のステップＳ１０１では、上記（１）〜（５）に示したコスト関数を使って２段階で１セグメントあたり（すなわち、１合成単位あたり）複数の音声素片を選択する。詳細を図７のフローチャートに示す。
【００４３】
まず１段階目の素片選択として、ステップＳ１１１では、音声素片記憶部１に記憶されている音声素片群のなかから、上記式（５）で算出されるコストの値が最小の音声素片の系列を求める。このコストが最小となる音声素片の組合せを最適素片系列とよぶこととする。すなわち、最適音声素片系列中の各音声素片は、入力音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対応し、最適音声素片系列中の各音声素片から算出された上記合成単位コストと式（５）より算出されたコストの値は、他のどの音声素片系列よりも小さい値である。なお、最適素片系列の探索には、動的計画法（ＤＰ：ｄｙｎａｍｉｃ  ｐｒｏｇｒａｍｍｉｎｇ）を用いることでより効率的に行うことができる。
【００４４】
次に、ステップＳ１１２に進み、２段階目の素片選択では、最適素片系列を用いて、１セグメントあたり複数の音声素片を選ぶ。ここでは、セグメントの数をJ個とし、セグメントあたりＭ個の音声素片を選ぶこととして説明する。ステップＳ１１２の詳細を説明する。
【００４５】
ステップＳ１１３およびＳ１１４では、Ｊ個のセグメントのうちの１つを注目セグメントとする。ステップＳ１１３およびＳ１１４はＪ回繰り返され、Ｊ個のセグメントが1回ずつ注目セグメントとなるように処理を行う。まず、ステップＳ１１３では、注目セグメント以外のセグメントには、それぞれ最適素片系列の音声素片を固定する。この状態で、注目セグメントに対して音声素片記憶部１に記憶されている音声素片を式（５）のコストの値に応じて順位付けし、上位Ｍ個を選択する。
【００４６】
例えば、図８に示すように、入力音韻系列が「ｔｓ・ｉ・ｉ・ｓ・ａ・…」であるとする。この場合、合成単位は、音素「ｔｓ」、「ｉ」、「ｉ」、「ｓ」、「ａ」、…のそれぞれに対応し、これら音素のそれぞれが１つのセグメントに対応する。図８では、入力された音韻系列中の３番目の音素「ｉ」に対応するセグメントを注目セグメントとし、この注目セグメントについて、複数の音声素片を求める場合を示している。この３番目の音素「ｉ」に対応するセグメント以外のセグメントに対しては、最適素片系列中の音声素片５１ａ、５１ｂ、５１ｄ、５１ｅ…を固定する。
【００４７】
この状態で、音声素片記憶部１に記憶されている音声素片のうち、注目セグメントの音素「ｉ」と同じ音素名（音素記号）をもつ音声素片のそれぞれについて、式（５）を用いてコストを算出する。ただし、それぞれの音声素片に対してコストを求める際に、値が変わるのは、注目セグメントの目標コスト、注目セグメントとその一つ前のセグメントとの接続コスト、注目セグメントとその一つ後のセグメントとの接続コストであるので、これらのコストのみを考慮すればよい。すなわち、
（手順１）  音声素片記憶部１に記憶されている音声素片のうち、注目セグメントの音素「ｉ」と同じ音素名（音素記号）をもつ音声素片のうちの１つを音声素片ｕ３とする。音声素片ｕ３の基本周波数ｆ（ｖ３）と、目標の基本周波数ｆ（ｔ３）とから、式（１）を用いて、基本周波数コストを算出する。
【００４８】
（手順２）  音声素片ｕ３の音韻継続時間長ｇ（ｖ３）と、目標の音韻継続時間長ｇ（ｔ３）とから、式（２）を用いて、音韻継続時間長コストを算出する。
【００４９】
（手順３）  音声素片ｕ３のケプストラム係数ｈ（ｕ３）と、音声素片５１ｂ（ｕ２）のケプストラム係数ｈ（ｕ２）とから、式（３）を用いて、第１のスペクトル接続コストを算出する。また、音声素片ｕ３のケプストラム係数ｈ（ｕ３）と、音声素片５１ｄ（ｕ4）のケプストラム係数ｈ（ｕ4）とから、式（３）を用いて、第２のスペクトル接続コストを算出する。
【００５０】
（手順４）  上記（手順１）〜（手順３）で各サブコスト関数を用いて算出された基本周波数コストと音韻継続時間長コストと第１及び第２のスペクトル接続コストの重み付け和を算出して、音声素片ｕ３のコストを算出する。
【００５１】
（手順５）  音声素片記憶部１に記憶されている音声素片のうち、注目セグメントの音素「ｉ」と同じ音素名（音素記号）をもつ各音声素片について、上記（手順１）〜（手順４）に従って、コストを算出したら、その値の最も小さい音声素片ほど高い順位となるように順位付けを行う（図７のステップＳ１１３）。そして、上位Ｍ個の音声素片を選択する（図７のステップＳ１１４）。例えば、図８では、音声素片５２ａが最も順位が高く、音声素片５２ｄが最も順位が低い。
【００５２】
以上の（手順１）〜（手順５）をそれぞれのセグメントに対して行う。その結果、それぞれのセグメントについて、Ｍ個ずつの音声素片が得られる。
【００５３】
次に、図３のステップＳ１０２の処理について説明する。
【００５４】
ステップＳ１０２では、ステップＳ１０１で求めた、複数のセグメントのそれぞれについて選択されたＭ個の音声素片から、セグメント毎に当該Ｍ個の音声素片を融合し、新たな音声素片（融合された音声素片）を生成する。有声音の波形は周期があるが、無声音の波形は周期がないため、このステップは音声素片が有声音である場合と無声音である場合とで別の処理を行う。
【００５５】
まずは有声音の場合について説明する。有声音の場合には、音声素片からピッチ波形を取り出し、ピッチ波形のレベルで融合し、新たなピッチ波形を作りだす。ピッチ波形とは、その長さが音声の基本周期の数倍程度までで、それ自身は基本周期を持たない比較的短い波形であって、そのスペクトルが音声信号のスペクトル包絡を表すようなものを意味する。
【００５６】
その抽出方法としては、単に基本周期同期窓で切り出す方法、ケプストラム分析やＰＳＥ分析によって得られたパワースペクトル包絡を逆離散フーリエ変換する方法、線形予測分析によって得られたフィルタのインパルス応答によってピッチ波形を求める方法、閉ループ学習法によって合成音声のレベルで自然音声に対する歪が小さくなるようなピッチ波形を求める方法など様々なものがある。
【００５７】
第１の実施形態では、基本周期同期窓で切り出す方法を用いてピッチ波形を抽出する場合を例にとり、図９のフローチャートを参照して説明する。ここでは、複数のセグメントのうちのある１つのセグメントについて、Ｍ個の音声素片を融合して１つの新たな音声素片を生成する場合の処理手順を説明する。
【００５８】
ステップＳ１２１において、Ｍ個の音声素片のそれぞれの音声波形に、その周期間隔毎にマーク（ピッチマーク）を付ける。図１０（ａ）には、Ｍ個の音声素片のうちの１つの音声素片の音声波形６１に対し、その周期間隔毎にピッチマーク６２が付けられている場合を示している。ステップＳ１２２では、図１０（ｂ）に示すように、ピッチマークを基準として窓掛けを行ってピッチ波形を切り出す。窓にはハニング窓６３を用い、その窓長は基本周期の２倍とする。そして、図１０（ｃ）に示すように、窓掛けされた波形６４をピッチ波形として切り出す。Ｍ個の音声素片のそれぞれについて、図１０に示すような処理（ステップＳ１２２の処理）を施す。その結果、Ｍ個の音声素片のそれぞれについて、複数個のピッチ波形からなるピッチ波形の系列が求まる。
【００５９】
次にステップＳ１２３に進み、当該セグメントのＭ個の音声素片のそれぞれのピッチ波形の系列のなかで、最もピッチ波形の数が多いものに合わせて、Ｍ個全てのピッチ波形の系列中のピッチ波形の数が同じになるように、（ピッチ波形の数が少ないピッチ波形の系列については）ピッチ波形を複製して、ピッチ波形の数をそろえる。
【００６０】
図１１には、当該セグメントのＭ個（例えば、ここでは、３個）の音声素片ｄ１〜ｄ３のそれぞれから、ステップＳ１２２で切り出されたピッチ波形の系列ｅ１〜ｅ３を示している。ピッチ波形の系列ｅ１中のピッチ波形の数は７個、ピッチ波形の系列ｅ２中のピッチ波形の数は５個、ピッチ波形の系列ｅ３中のピッチ波形の数は６個であるので、ピッチ波形の系列ｅ１〜ｅ３のうち最もピッチ波形の数が多いものは、系列ｅ１である。従って、この系列ｅ１中のピッチ波形の数（例えば、ここでは、ピッチ波形の数は、７個）に合わせて、他の系列ｅ２、ｅ３については、それぞれ、当該系列中のピッチ波形のいずれかをコピーして、ピッチ波形の数を７個にする。その結果得られた、系列ｅ２、ｅ３のそれぞれに対応する新たなピッチ波形の系列がｅ２´、ｅ３´である。
【００６１】
次に、ステップＳ１２４に進む。このステップでは、ピッチ波形ごとに処理を行う。ステップＳ１２４では、当該セグメントのＭ個のそれぞれの音声素片に対応するピッチ波形をその位置ごとに平均化し、新たなピッチ波形の系列を生成する。この生成された新たなピッチ波形の系列を融合された音声素片とする。
【００６２】
図１２には、当該セグメントのＭ個（例えば、ここでは、３個）の音声素片ｄ１〜ｄ３のそれぞれからステップＳ１２３で求めたピッチ波形の系列ｅ１、ｅ２´、ｅ３´を示している。各系列中には、７個のピッチ波形があるので、ステップＳ１２４では、１番目から７番目のピッチ波形をそれぞれ３つの音声素片で平均化し、７個の新たなピッチ波形からなる新たなピッチ波形の系列ｆ１を生成している。すなわち、例えば、系列ｅ１の１番目とピッチ波形と、系列ｅ２´の１番目のピッチ波形と、系列ｅ３´の１番目のピッチ波形のセントロイドを求めて、それを新たなピッチ波形の系列ｆ１の１番目のピッチ波形とする。新たなピッチ波形の系列ｆ１の２番目〜７番目のピッチ波形についても同様である。ピッチ波形の系列ｆ１が、上記「融合された音声素片」である。
【００６３】
一方、図３のステップＳ１０２の処理において、無声音のセグメントの場合には、素片選択ステップＳ１０１で当該セグメントのＭ個の音声素片のうち、当該Ｍ個の音声素片のそれぞれに付けられている順位が１位の音声素片の音声波形をそのまま使用する。
【００６４】
以上のようにして、入力音韻系列に対応する複数のセグメントのそれぞれについて、当該セグメントに対し選択されたＭ個の音声素片から、当該Ｍ個の音声素片を融合し、新たな音声素片（融合された音声素片）を生成すると、次に、図３の素片編集・接続ステップＳ１０３へ進む。
【００６５】
ステップＳ１０３では、素片編集・接続部９は、ステップＳ１０２で求めた、セグメント毎の融合された音声素片を、入力韻律情報に従って変形し、接続することで（合成音声の）音声波形を生成する。ステップＳ１０２で求めた融合された音声素片は、実際にはピッチ波形の形になっているので、当該融合された音声素片の基本周波数、音韻継続時間長のそれぞれが、入力韻律情報に示されている目標音声の基本周波数、目標音声の音韻継続時間長になるようにピッチ波形を重畳することで、音声波形を生成することができる。
【００６６】
図１３は、ステップＳ１０３の処理を説明するための図である。図１３では、音素「ｍ」、「ａ」、「ｄ」、「ｏ」の各合成単位についてステップＳ１０２で求めた、融合された音声素片を変形・接続して、「まど」という音声波形を生成する場合を示している。図１３に示すように、入力韻律情報に示されている目標の基本周波数、目標の音韻継続時間長に応じて、セグメント（合成単位）毎に、融合された音声素片中の各ピッチ波形の基本周波数を変えたり（音の高さを変えたり）、ピッチ波形の数を増やしたり（時間長を変えたり）する。その後に、セグメント内、セグメント間で、隣り合うピッチ波形を接続して合成音声を生成する。
【００６７】
なお、上記目標コストは、合成音声を生成するために入力韻律情報を基に、上記のような融合された音声素片の基本周波数や音韻継続時間長などを（素片編集・接続部９で）変えることにより生ずる当該合成音声の目標音声に対する歪みをできるだけ正確に推定（評価）するものであることが望ましい。そのような目標コストの一例である、式（１）（２）から算出される目標コストは、当該歪みの度合いを、目標音声の韻律情報と音声素片記憶部１に記憶されている音声素片の韻律情報の違いに基づき算出されるものである。また、接続コストは、合成音声を生成するために（素片編集・接続部９で）上記のような融合された音声素片を接続することにより生ずる当該合成音声の目標音声に対する歪みをできるだけ正確に推定（評価）するものであることが望ましい。そのような接続コストの一例である、式（３）から算出される接続コストは、音声素片記憶部１に記憶されている音声素片の接続境界のケプストラム係数の違いに基づき算出されるものである。
【００６８】
ここで、第１の実施形態にかかる音声合成手法と、従来の素片選択型音声合成手法との違いについて説明する。
【００６９】
第１の実施形態に係る図２に示した音声合成装置では、素片選択で合成単位あたり複数の音声素片を選択することと、素片選択部１１の後に素片融合部５があり、合成単位ごとに複数の音声素片を融合して新たな音声素片を生成する点が、従来の音声合成装置（例えば、特許文献３参照）と異なる。本実施形態では、合成単位毎に、複数の音声素片を融合することによって、高品質な音声素片を作り出すことができ、その結果、より自然でより高音質な合成音声を生成することができるのである。
【００７０】
（第２の実施形態）
次に、第２の実施形態に係る音声合成部３４について説明する。
【００７１】
図１４は、第２の実施形態に係る音声合成部３４の構成例を示したものである。音声合成部３４は、音声素片記憶部１、音素環境記憶部２、素片選択部１２、教師音素環境記憶部１３、素片融合部５、代表素片記憶部６、音韻系列・韻律情報入力部７、素片選択部１１、素片編集・接続部９より構成される。なお、図１４において、図２と同一部分には同一符号を付している。
【００７２】
すなわち、図１４の音声合成部３４は、大きく分けて代表音声素片生成系２１と規則合成系２２からなる。実際にテキスト音声合成を行う場合に動作するのは規則合成系２２であり、代表音声素片生成系２１は事前に学習を行って代表音声素片を生成するものである。
【００７３】
第１の実施形態と同様に、音声素片記憶部１には大量の音声素片群が蓄積されており、それらの音声素片の音素環境の情報が音素環境記憶部２に蓄積されている。また、教師音素環境記憶部１３には、代表音声素片を作る際の目標となる教師音素環境が大量に蓄積されている。教師音素環境としては、例えばここでは、音素環境記憶部２に蓄積されている音素環境と同じものを用いる。
【００７４】
まず、代表音声素片生成系２１の処理動作の概略を説明する。素片選択部１２は、教師音素環境記憶部１３に蓄えられている教師音素環境のそれぞれを目標として、音声素片記憶部１に記憶されている音声素片のなかから、当該音素環境に一致あるいは類似する音素環境の音声素片を選択する。ここでは、複数個の音声素片を選択する。選択された音声素片は、素片融合部５において図９に示したようにして融合される。その結果得られる新たな音声素片、すなわち、「融合された音声素片」は、代表音声素片として代表素片記憶部６に蓄積される。
【００７５】
代表素片記憶部６には、上記のようにして生成された代表音声素片の波形が、当該代表音声素片を識別するための素片番号とともに、例えば、図４と同様にして記憶される。また、教師音素環境記憶部１３には、代表素片記憶部６に記憶されている各代表音声素片を生成したときに目標とした音素環境の情報（教師音素環境情報）が、当該代表音声素片の素片番号に対応付けて、例えば、図５と同様に記憶されている。
【００７６】
次に、規則合成系２２の処理動作の概略を説明する。音韻系列・韻律情報入力部７に入力された音韻系列及び韻律情報に基づいて、素片選択部１１は、代表素片記憶部６に記憶されている代表音声素片のなかから、音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、当該セグメントに対応する音素記号（あるいは音素記号列）の代表音声素片で、かつ、当該セグメントに対応する韻律情報と一致あるいは類似する音素環境情報をもつ代表音声素片を選択する。その結果、入力音韻系列に対応する代表音声素片の系列が得られる。代表音声素片の系列は、素片編集・接続部９において、入力韻律情報に基づいて変形及び接続し音声波形を生成する。こうして生成された音声波形は音声波形出力部１０で出力される。
【００７７】
まず、代表音声素片生成系２１の処理動作について、図１５に示すフローチャートを参照してより詳細に説明する。
【００７８】
音声素片記憶部１と音素環境記憶部２には、第１の実施形態と同様に、それぞれ音声素片群と音素環境情報群が蓄積されている。素片選択部１２は、教師音素環境記憶部１３に記憶されている教師音素環境情報それぞれに対して、当該音素環境に一致あるいは類似する音素環境情報をもつ複数の音声素片を選択する（ステップＳ２０１）。そして、この選択された複数の音声素片を融合することにより、当該教師音素環境情報に対応する代表音声素片が生成される（ステップＳ２０２）。
【００７９】
以下では1個の教師音素環境に対する処理について説明する。
【００８０】
ステップＳ２０１では、第１の実施形態のコスト関数を用いて複数の音声素片を選択する。ただし、ここでは、音声素片は単独で評価するので、接続コストに関しては評価せず、目標コストのみで評価を行う。すなわち、ここでは、音素環境記憶部２に記憶されている音素環境情報のうち、教師音素環境情報に含まれる音素記号と同じ音素記号をもつ音素環境情報のそれぞれと、教師音素環境情報とを式（１）、（２）を用いて比較する。
【００８１】
音素環境記憶部２に記憶されている音素環境情報のうち、教師音素環境情報に含まれる音素記号と同じ音素記号をもつ複数の音素環境情報のうちの１つを対象音素環境情報とする。まず、式（１）を用いて、当該対象音素環境情報の基本周波数と、教師音素環境情報に含まれる基本周波数（基準基本周波数）とから基本周波数コストを算出するとともに、式（２）を用いて、当該対象音素環境情報の音韻継続時間長と、教師音素環境情報に含まれる音韻継続時間長（基準音韻継続時間長）とから音韻継続時間長コストを算出し、これらの重み付き和を式（４）から算出し、当該対象音素環境情報の合成単位コストを算出する。すなわち、ここでは、教師音素環境情報に対応する音声素片（基準音声素片）に対する、対象音声環境情報に対応する音声素片（対象音声素片）の歪みの度合いが上記合成単位コストの値に表されている。なお、教師音素環境に対応する音声素片（基準音声素片）は実際に存在する必要はない。ただし、本実施形態では教師音素環境として音素環境記憶部２に蓄積されている音素環境を使用しているために、実際の基準音声素片が存在する。
【００８２】
音素環境記憶部２に記憶されている、教師音素環境情報に含まれる音素記号と同じ音素記号をもつ複数の音素環境情報のそれぞれを上記対象音素環境情報に設定して、上記同様にして、合成単位コストを算出する。
【００８３】
音素環境記憶部２に記憶されている、教師音素環境情報に含まれる音素記号と同じ音素記号をもつ複数の音素環境情報のそれぞれの合成単位コストを求めたら、その値の最も小さいものほど高い順位となるように順位付けを行う（図１５のステップＳ２０３）。そして、上位Ｍ個の音素環境情報のそれぞれに対応するＭ個の音声素片を選択する（図１５のステップＳ２０４）。
【００８４】
次に、ステップＳ２０２に進み、音声素片の融合を行う。ただし、教師音素環境情報の音韻が無声音の場合は、１位に順位付けされた音声素片を代表音声素片とする。有声音の場合は、ステップＳ２０５〜ステップＳ２０８の処理を行う。ここでの処理は、図１０〜図１２の説明と同様である。すなわち、ステップＳ２０５では、選択されたＭ個の音声素片のそれぞれの音声波形に、その周期間隔毎にマーク（ピッチマーク）を付ける。次に、ステップＳ２０６へ進み、ピッチマークを基準として窓掛けを行ってピッチ波形を切り出す。窓にはハニング窓を用い、その窓長は基本周期の２倍とする。次に、ステップＳ２０７へ進み、選択された音声素片の中で最もピッチ波形の数が多いものに合わせて、ピッチ波形の数が同じになるようにピッチ波形を複製し、ピッチ波形の数をそろえる。次に、ステップＳ２０８へ進む。このステップはピッチ波形ごとに処理を行う。ステップＳ２０８では、音声素片のピッチ波形をその位置ごとに平均化し（Ｍ個のピッチ波形のセントロイドを求めて）、新たなピッチ波形の系列を生成する。このピッチ波形の系列が、代表音声素片である。なお、ステップＳ２０５〜Ｓ２０８は、図９のステップＳ１２１〜Ｓ１２４と同じである。
【００８５】
生成された代表音声素片は、当該代表音声素片の素片番号とともに代表素片記憶部６に記憶される。当該代表音声素片の音素環境情報は、当該代表音声素片を生成する際に用いた教師音素環境情報である。この教師音素環境情報が、当該代表音声素片の素片番号とともに、教師音素環境記憶部１３に記憶される。このように、代表音声素片と教師音素環境情報とは素片番号で対応付けられて記憶される。
【００８６】
次に、規則合成系２２について説明する。規則合成系２２では、代表素片記憶部６に記憶された代表音声素片と、教師音素環境記憶部１３に記憶された、各代表音声素片に対応する音素環境情報を用いて、合成音声を生成する。
【００８７】
素片選択部１１では、音韻系列・韻律情報入力部７に入力された音韻系列及び韻律情報に基づいて、合成単位当たり１つの代表音声素片を選択して、音声素片の系列を求める。この音声素片の系列は、第１の実施形態で説明した最適素片系列であり、その求め方は、第１の実施形態と同様であり、式（５）で算出されるコストの値が最小となる（代表）音声素片の系列を求める。
【００８８】
素片編集・接続部９では、第１の実施形態の場合と同様、選択された最適素片系列を、入力韻律情報に従って変形し、接続することで音声波形を生成する。代表音声素片は、ピッチ波形の形になっているので、目標の基本周波数及び音韻継続時間長になるようにピッチ波形を重畳することで、音声波形を生成することができる。
【００８９】
ここで、第２の実施形態にかかる音声合成手法と、従来の音声合成手法との違いについて説明する。
【００９０】
従来の音声合成装置（例えば、特許文献１参照）と、第２の実施形態に係る図１４に示した音声合成装置との違いは、代表音声素片の作り方と音声合成時の代表音声素片の選択方法にある。従来の音声合成装置では、代表素片を作るときに使用する音声素片を、音声素片間の距離尺度に基づいて音素環境に関する複数のクラスタに分類する。一方、第２の実施形態の音声合成装置では、教師音素環境を与えてその目標音素環境ごとに、式（１）、（２）、（４）に示したコスト関数を用いて、当該教師音素環境に一致あるいは類似する音素環境をもつ音声素片を選択する。
【００９１】
図１６は、それぞれが異なる音素環境情報をもつ複数の音声素片の音素環境の分布を模式的に表したもので、この分布状態において、代表音声素片を生成するための複数の音声素片をクラスタリングにより分類して選択する場合を示している。図１７は、それぞれが異なる音素環境をもつ複数の音声素片の音素環境の分布を模式的に表したもので、この分布状態において、第２の実施形態に係る音声合成装置において、代表音声素片を生成するための複数の音声素片をコスト関数を用いて選択する場合を示している。
【００９２】
図１６に示すように、従来技術では、記憶されている複数の音声素片のそれぞれは、例えば、その基本周波数が第１の所定値以上か、第２の所定値未満か、第２の所定値以上第１の所定値未満かに応じて、３つのクラスタのうちのいずれか１つに分類される。２２ａ、２２ｂは、それぞれ、クラスタの境界を表している。
【００９３】
一方、図１７に示すように、第２の実施形態では、音声素片記憶部１に記憶されている複数の音声素片のそれぞれを基準として、当該基準の音声素片の音素環境を教師音素環境に設定し、コスト関数を用いて、教師音素環境に一致あるいは類似する音素環境をもつ音声素片の集合を求めている。例えば、図１７では、基準の教師音素環境２４ａに対し、それと一致あるいは類似する音素環境の集合２３ａが求まり、基準の教師音素環境２４ｂに対し、それと一致あるいは類似する音素環境の集合２３ｂが求まり、基準の教師音素環境２４ｃに対し、それと一致あるいは類似する音素環境の集合２３ｃが求まる。
【００９４】
図１６と図１７を比較すると明らかなように、図１６のクラスタリングの手法では、代表音声素片を生成する際に、複数の代表音声素片に重複して使用される音声素片は存在しないが、図１７の第２の実施形態では、代表音声素片を生成する際に、複数の代表音声素片に重複して使用される音声素片が存在する。また、第２の実施形態では、代表音声素片を生成する際に、当該代表音声素片の目標となる音素環境を自由に設定できるため、必要とする音素環境をもつ代表音声素片を自由に生成することができる。従って、例えば、基準となる音声素片のとり方によっては、音声素片記憶部１に記憶されている音声素片にはない、実際にサンプリングされていない音素環境をもつ代表音声素片も数多く生成することができるのである。
【００９５】
異なる音素環境の代表音声素片の数が多いほど、選択の幅が広がり、その結果得られる合成音声はより自然で高品質なものとなる。
【００９６】
第２の実施形態の音声合成装置では、音素環境が類似する複数の音声素片を融合することで品質の良い音声素片を作り出すことができる。さらに、教師音素環境を音素環境記憶部２にあるものと同じだけ用意しているため、様々な音素環境の代表音声素片を生成することができる。したがって、素片選択部１１で多くの代表素片から選択することができ、素片編集・接続部９での素片の変形・接続での歪を低減することができ、より自然でより高音質な合成音を生成することができる。また、第２の実施形態では、実際にテキスト音声合成を行う段階で素片融合処理を行わないため、第１の実施形態と比較して計算量が小さいという特徴もある。
【００９７】
（第３の実施形態）上述の第１及び第２の実施形態では、音素環境は音声素片の音韻とその基本周波数及び音韻継続時間長の情報として説明したが、これらに限定するものではなく、必要に応じて、音韻、基本周波数、音韻継続時間長、先行音素、後続音素、後々続音素、パワー、ストレスの有無、アクセント核からの位置、息継ぎからの時間、発声速度、感情などの情報を組み合わせて用いることができる。音素環境に適切な要因を用いることで、図３のステップＳ１０１の素片選択において、より適切な音声素片を選択することができ、音質を向上させることができる。
【００９８】
（第４の実施形態）上述の第１及び第２の実施形態では、目標コストとして基本周波数コストと音韻継続時間長コストを用いたが、これに限定されるものではない。例えば、音声素片記憶部１に記憶された音声素片の音韻環境と、目標の音韻環境の違い（差）を数値化した音韻環境コストなどがある。音韻環境としては、音素の前後に配置される音素の種類や、当該音素の含まれる単語の品詞などがある。
【００９９】
この場合、音声素片記憶部１に記憶された音声素片の音韻環境と目標音声の音韻環境との間の違いを表す音韻環境コストを算出するためのサブコスト関数を新たに定義して、当該サブコスト関数を用いて算出された音韻環境コストと、式（１）、（２）から算出される目標コストと、式（３）から算出される接続コストとの値の重み付け和を式（４）から求めることにより、合成単位コストを得る。
【０１００】
（第５の実施形態）上述の第１及び第２の実施形態では、接続コストとして接続境界でのスペクトルの差であるスペクトル接続コストを用いたが、これに限定されるものではない。例えば、上記スペクトル接続コストに変えて、あるいは、これと併用して、接続境界の基本周波数の違い（差）を表す基本周波数接続コスト、接続境界のパワーの違い（差）を表すパワー接続コストなどを用いてもよい。
【０１０１】
この場合も、これら新たなサブコスト関数を定義して、当該サブコスト関数を用いて算出された接続コストと、式（１）、（２）から算出される目標コストの値の重み付け和を式（４）から求めることにより合成単位コストを得る。
【０１０２】
（第６の実施形態）上述の第１及び第２の実施形態では、重みｗｎはすべて「１」としたが、これに限定されるものではない。重みはサブコスト関数に応じて適切な値に設定することができる。例えば、重みの値をいろいろ変えて合成音を生成し、主観評価試験によって最も評価の良い値を調べ、そのときに用いた重みの値を使うことで高音質な合成音を生成することができる。
【０１０３】
（第７の実施形態）上述の第１及び第２の実施形態では、コスト関数として式（５）に示すように、合成単位コストの和を用いたが、これに限定されるものではなく、例えば、合成単位コストの累乗の和を用いることもできる。ここで、塁数を大きくすると、合成単位コストの大きいものがより強調されることとなり、局所的に合成単位コストの大きい音声素片が選ばれるのを避ける効果がある。
【０１０４】
（第８の実施形態）上述の第１及び第２の実施形態では、コスト関数として式（５）のようにサブコスト関数の重み付き和である合成単位コストの和を用いたが、これに限定されるものではなく、素片系列全てのサブコスト関数を引数にとった関数であれば良い。
【０１０５】
（第９の実施形態）上述の第１の実施形態の図７の素片選択ステップＳ１１２及び第２の実施形態の図１５の素片選択ステップＳ２０１で、合成単位あたりＭ個の音声素片を選択するとしたが、これに限定されるものではない。合成単位ごとに選択する音声素片の個数を変えることもでき、全ての合成単位で複数個選択する必要も必ずしも無い。また、コスト値や音声素片数など何らかの要因によって、選択する個数を決定させることもできる。
【０１０６】
（第１０の実施形態）上述の第１の実施形態では、図７のステップＳ１１１とステップＳ１１２では、式（１）〜式（５）に示すような同じ関数を使用したが、本発明はこれに限定されるものではなく、それぞれのステップで異なる関数を定義してもよい。
【０１０７】
（第１１の実施形態）上述の第２の実施形態では、図１４の素片選択部１２と素片選択部１１で、式（１）〜式（４）に示すような同じ関数を使用したが、本発明はこれに限定されるものではなく、それぞれ異なる関数とすることができる。
【０１０８】
（第１２の実施形態）上述の第１の実施形態の図９のステップＳ１２１及び第２の実施形態の図１５のステップＳ２０５で、音声素片にピッチマークを付けたが、これに限定されるものではなく、例えば、あらかじめ音声素片にピッチマークを付けておき、音声素片記憶部１に記憶することもできる。あらかじめ付けておくことで、実行時の計算量を削減することができる。
【０１０９】
（第１３の実施形態）上述の第１の実施形態の図９のステップＳ１２３及び第２の実施形態の図１５のステップＳ２０７で、音声素片のピッチ波形の数をそろえるときに、ピッチ波形の数が最も多いものにあわせたが、これに限定されるものではない。例えば、素片編集・接続部９において、実際に必要なピッチ波形の数に合わせることもできる。
【０１１０】
（第１４の実施形態）上述の第１の実施形態の図３の素片融合ステップＳ１０２及び第２の実施形態の図１５の素片融合ステップＳ２０２で、有声音の音声素片の融合に、ピッチ波形を融合する手段として平均を用いたが、本発明はこれに限定されるものではない。例えば、単に平均するのではなくピッチ波形の相関が最大になるようにピッチマークを補正して行うことで、より高音質な合成音を生成することができる。また、ピッチ波形を帯域分割し、帯域ごとに相関が最大になるようにピッチマークを補正してから平均化を行うことで、更に高音質な合成音を生成することができる。
【０１１１】
（第１５の実施形態）上述の第１の実施形態の図３の素片融合ステップＳ１０２及び第２の実施形態の図１５の素片融合ステップＳ２０２で、有声音の音声素片の融合に、ピッチ波形のレベルで融合したが、これに限定されるものではない。例えば、特許文献２（特許第３２８１２８１号明細書）に記載されている閉ループ学習を使うことで、それぞれの音声素片のピッチ波形を取り出すことなく、合成音のレベルで最適なピッチ波形系列を作り出すことができる。
【０１１２】
ここで、閉ループ学習を用いて、有声音の音声素片を融合する場合について説明する。融合によって求められる音声素片は、第１の実施形態と同様にピッチ波形の系列として求められるため、これらのピッチ波形を連結して構成されるベクトルｕで音声素片を表す。まず、音声素片の初期値を用意する。初期値としては、第１の実施形態で述べた手法によって求められるピッチ波形の系列を用いてもよいし、ランダムなデータを用いても良い。また、素片選択ステップＳ１０１で選択された音声素片の波形を表すベクトルをｒｊ（ｊ＝１、２、…、Ｍ）とする。次に、ｕを用いて、ｒｊを目標としてそれぞれ音声を合成する。生成された合成音声セグメントをｓｊと表す。ｓｊは、次式（６）のように、ピッチ波形の重畳を表す行列Ａｊとｕの積で表される。
【数６】
2005164749.tif 000008
【０１１３】
ｒｊのピッチマークとｕのピッチ波形とのマッピング、およびｒｊのピッチマーク位置より行列Ａｊは決定される。行列Ａｊの例を図１８に示す。
【０１１４】
次に、合成音声セグメントｓｊとｒｊの誤差を評価する。ｓｊとｒｊの誤差ｅｊを次式（７）で定義する。
【数７】
2005164749.tif 000009
【０１１５】
ただし、次式（８）、（９）に示すように、ｇｉは、２つの波形の平均的なパワーの差を補正して、波形の歪みのみを評価するためのゲインであり、ｅｊが最小となるような最適なゲインを用いている。
【数８】
2005164749.tif 000010
【０１１６】
ベクトルｒｉ全てに対する誤差の総和を表す評価関数Ｅを次式（１０）で定義する。
【数９】
2005164749.tif 000011
【０１１７】
Ｅを最小にする最適なベクトルｕは、Ｅをｕで偏微分して「０」とおくことで得られる次式（１２）を解くことによって求められる。
【数１０】
2005164749.tif 000012
【０１１８】
（８）式はｕについての連立方程式であり、これを解くことによって新たな音声素片ｕを一意に求めることができる。ベクトルｕが更新されることによって、最適ゲインｇｊが変化するため、上述したプロセスをＥの値が収束するまで繰り返し、収束した時点のベクトルｕを、融合によって生成された音声素片として用いる。
【０１１９】
また、行列Ａｊを求める際のｒｊのピッチマーク位置を、ｒｊとｕの波形の相関に基づいて修正するようにしても良い。
【０１２０】
また、ベクトルｒｊを帯域分割し、各帯域毎に上述した閉ループ学習を行ってｕを求め、全帯域のｕを加算することによって融合された音声素片を生成するようにしても良い。
【０１２１】
このように、閉ループ学習を素片の融合に用いることによって、ピッチ周期変更による合成音声の劣化が小さい音声素片を生成することが可能である。
【０１２２】
（第１６の実施形態）上述の第１及び第２の実施形態では、音声素片記憶部１に蓄積されている音声素片を波形であるとしたが、これに限定されるものではなく、スペクトルパラメータであっても良い。その場合、素片融合ステップＳ１０２またはＳ２０２の融合には、例えば、スペクトルパラメータを平均化するなどの方法を用いることができる。
【０１２３】
（第１７の実施形態）上述の第１の実施形態の図３のステップＳ１０２及び第２の実施形態の図１５のステップＳ２０２で、無声音には素片選択ステップＳ１０１及びＳ２０１で付与された順位が１位の音声素片をそのまま使用したが、これに限定されるものではない。例えば、各音声素片をアライメントし、波形レベルで平均化してもよい。また、アライメント後に、各音声素片のケプストラムやＬＳＰなどのパラメータを求め、これらのパラメータを平均化し、平均化されたパラメータから求めたフィルタを白色雑音で駆動することで無声音の融合波形を得ることもできる。
【０１２４】
（第１８の実施形態）上述の第２の実施形態では、音素環境記憶部２に蓄積されている音素環境と同じものを教師音素環境記憶部１３に蓄積されているとしたが、これに限定されるものではない。素片の編集・接続での歪を低減することができるように、音素環境のバランスを考慮して教師音素環境を設計することで、より高音質な合成音声を生成することができる。また、教師音素環境を少なくすることで、代表素片記憶部６の容量を小さくすることもできる。
【図面の簡単な説明】
【０１２５】
【図１】本発明の第１の実施形態に係る音声合成装置の構成を示すブロック図。
【図２】音声合成部の構成例を示すブロック図。
【図３】音声合成部における処理の流れを示すフローチャート。
【図４】音素環境記憶部の音声素片の記憶例を示す図。
【図５】音素環境記憶部の音素環境情報の記憶例を示す図。
【図６】音声データから音声素片を得るための手順を説明するための図。
【図７】音声素片選択部の処理動作を説明するためのフローチャート。
【図８】入力音韻系列に対応する複数のセグメントのそれぞれに対し、複数の音声素片を求めるための手順を説明するための図。
【図９】素片融合部の処理動作を説明するためのフローチャート。
【図１０】素片融合部の処理を説明するための図。
【図１１】素片融合部の処理を説明するための図。
【図１２】素片融合部の処理を説明するための図。
【図１３】素片編集・接続部の処理動作を説明するための図。
【図１４】本発明の第２の実施形態に係る音声合成部の構成例を示した図。
【図１５】図１４の音声合成部で代表音声素片の生成処理動作を説明するためのフローチャート。
【図１６】従来のクラスタリングによる代表音声素片の生成手法を説明するための図。
【図１７】本発明のコスト関数による素片選択を行い音声素片を生成する手法を説明するための図。
【図１８】閉ループ学習について説明するための図で、ある音声素片のピッチ波形の重畳を表す行列の一例を示した図。
【符号の説明】
【０１２６】
１…音声素片記憶部、２…音素環境記憶部、５…素片融合部、６…代表素片記憶部、７…音韻系列・韻律情報入力部、９…素片編集・接続部、１０…音声波形出力部、１１、１２…素片選択部、１３…目標音素環境記憶部、２１…代表音声素片生成系、２２…規則合成系、３１…テキスト入力部、３２…言語処理部、３３…韻律処理部、３４…音声合成部。
【図１】
2005164749.tif 000013
【図２】
2005164749.tif 000014
【図３】
2005164749.tif 000015
【図４】
2005164749.tif 000016
【図５】
2005164749.tif 000017
【図６】
2005164749.tif 000018
【図７】
2005164749.tif 000019
【図８】
2005164749.tif 000020
【図９】
2005164749.tif 000021
【図１０】
2005164749.tif 000022
【図１１】
2005164749.tif 000023
【図１２】
2005164749.tif 000024
【図１３】
2005164749.tif 000025
【図１４】
2005164749.tif 000026
【図１５】
2005164749.tif 000027
【図１６】
2005164749.tif 000028
【図１７】
2005164749.tif 000029
【図１８】
2005164749.tif 000030