(57)【特許請求の範囲】
【請求項１】
目標音声の励起信号を符号化するための方法であって、
‐トレーニング音声から抽出され、声門閉鎖インスタント（ＧＣＩ）ならびに正規化されたピッチおよびエネルギに同期化されたトレーニング正規化残差フレームの集合から、関連正規化残差フレームの集合を抽出するステップと、
‐目標音声から目標励起信号を決定するステップと、
‐前記目標励起信号をＧＣＩ同期目標フレームに分割するステップと、
‐ＧＣＩ同期目標フレームの局所ピッチおよびエネルギを決定するステップと、
‐ＧＣＩ同期目標フレームをエネルギおよびピッチの両方で正規化して、目標正規化残差フレームを得るステップと、
‐関連正規化残差フレームの前記抽出された集合の線形結合の係数を決定して、各目標正規化残差フレームに近い合成正規化残差フレームを作成するステップと、
を含み、
各目標残差フレームのための符号化パラメータが決定された係数を含んでなる、
方法。
【請求項２】
目標励起信号は、逆の合成フィルタを目標音声に適用することによって決定されることを特徴とする、請求項１に記載の方法。
【請求項３】
合成フィルタは、スペクトル分析法、好ましくは線形予測法によって決定されることを特徴とする、請求項２に記載の方法。
【請求項４】
関連正規化残差フレームの前記集合は、Ｋ‐ｍｅａｎｓアルゴリズムまたはＰＣＡ分析によって決定されることを特徴とする、請求項１〜３のいずれかに記載の方法。
【請求項５】
関連正規化残差フレームの前記集合はＫ‐ｍｅａｎｓアルゴリズムによって決定され、関連正規化残差フレームの集合は、決定されたクラスタセントロイドであることを特徴とする、請求項４に記載の方法。
【請求項６】
目標正規化残差フレームに最も近いクラスタセントロイドに関連付けられる係数は１に等しく、他の係数は零であることを特徴とする、請求項５に記載の方法。
【請求項７】
関連正規化残差フレームの前記集合は、ＰＣＡによって決定された第１固有残差の集合であることを特徴とする、請求項４に記載の方法。
【請求項８】
請求項１〜７のいずれかに記載の符号化方法を使用して励起信号を合成するための方法であって、
‐符号化パラメータを使用して、関連正規化残差フレームの前記集合の線形結合によって、合成正規化残差フレームを作成するステップと、
‐前記合成正規化残差フレームをピッチおよびエネルギで非正規化して、目標局所ピッチ周期およびエネルギを有する合成残差フレームを得るステップと、
‐前記合成残差フレームをピッチ同期オーバラップ加算方法によって再結合して、合成励起信号を得るステップと、
をさらに含む方法。
【請求項９】
関連正規化残差フレームの前記集合は、ＰＣＡによって決定された第１固有残差の集合であり、高周波雑音が前記合成残差フレームに付加されることを特徴とする、請求項８に記載の励起信号を合成するための方法。
【請求項１０】
前記高周波雑音は、２から６ｋＨｚの間の低周波遮断を有することを特徴とする、請求項９に記載の方法。
【請求項１１】
前記高周波雑音は、約４ｋＨｚの低周波遮断を有することを特徴とする、請求項１０に記載の方法。
【請求項１２】
有声シーケンスの励起信号を決定するために請求項８，９，１０または１１に記載の方法を使用する、パラメトリック音声合成のための方法。
【請求項１３】
コンピュータに請求項１〜１２のいずれかに記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声符号化および合成方法に関する。
【背景技術】
【０００２】
統計的パラメトリック音声合成装置は最近、自然に聞こえる柔軟な音声を生成する能力を示すようになってきた。残念ながら発生する音質は、音声がボコード化されるという事実のため、典型的なバズ音を免れない。
【０００３】
この１０年間に、単位選択をベースとする方法が、音声合成において明瞭に浮かび上がってきた。これらの技術は、音声信号に見出すことのできる多様性をできるだけ網羅する膨大なコーパス（典型的には数百ＭＢ）に依存する。合成中に、音声は、コーパスからピックアップされた自然単位を連結することによって得られる。データベースは各音声単位に対する幾つかの例を含むので、問題は選択および連結コストを最小化することによって、格子状の潜在的候補を介して最良の経路を見出すことに存する。
【０００４】
この手法は一般的に、高い自然さと明瞭度とを備えた音声を生成する。しかし、不充分に表わされる単位が要求される場合、または（２つの選択された単位の間の）結合不良が不連続性を引き起こす場合には、品質がひどく劣化することがある。
【０００５】
ごく最近に、Ｋ．Ｔｏｋｕｄａらは、「Ａｎ  ＨＭＭ‐ｂａｓｅｄ  ｓｐｅｅｃｈ  ｓｙｎｔｈｅｓｉｓ  ｓｙｓｔｅｍ  ａｐｐｌｉｅｄ  ｔｏ  Ｅｎｇｌｉｓｈ」（Ｐｒｏｃ．  ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｓｐｅｅｃｈ  Ｓｙｎｔｈｅｓｉｓ，２００２、ｐ．２２７〜２３０）において、新しい合成方法：統計的パラメトリック音声合成を提案している。この手法は、音声パラメータの統計的モデリングに依存する。トレーニングステップの後、このモデリングはそのようなパラメータの現実的なシーケンスを生成する能力を有することが期待される。この枠組から導出された最も有名な技術は、確かにＨＭＭをベースとする音声合成であり、それは最近の主観テストで、単位選択をベースとするシステムに匹敵する成績を出した。そのような技術の重要な利点は、（感情または表現力のような）音声変化を制御するため、および（統計的音声変換を介して）新しい音声を容易に作成するためのその柔軟性である。その固有の性質による２つの主な欠点は次の通りである。
‐生成された軌跡の自然性の欠如、特徴発展における細部を除去する傾向を有する統計処理、および合成音声を消音させる生成された軌跡の過剰平滑化
‐典型的なボコーダ品質を免れない生成された音声の「バズ音」
【０００６】
スペクトルおよび韻律を特徴付けるパラメータはかなりよく確立されているが、より適した励起モデリングを採用することによって改善を期待することができる。実際、従来の励起は、それぞれ無声または音声セグメント中の白色雑音またはパルス列のいずれかを考慮する。声門信号が周期成分および非周期成分の組合せから構成される発声の生理学的プロセスから着想して、混合励起（ＭＥ）の使用が提案されてきた。ＭＥは一般的に図１にあるように達成される。
【０００７】
Ｔ．Ｙｏｓｈｉｍｕｒａらは、「Ｍｉｘｅｄ‐ｅｘｃｉｔａｔｉｏｎ  ｆｏｒ  ＨＭＭ‐ｂａｓｅｄ  ｓｐｅｅｃｈ  ｓｙｎｔｈｅｓｉｓ」（Ｐｒｏｃ．Ｅｕｒｏｓｐｅｅｃｈ０１、２００１、ｐｐ．２２５９〜２２６２）において、帯域通過有声強度からフィルタ係数を導出することを提案している。
【０００８】
「Ａｎ  ｅｘｃｉｔａｔｉｏｎ  ｍｏｄｅｌ  ｆｏｒ  ＨＭＭ‐ｂａｓｅｄ  ｓｐｅｅｃｈ  ｓｙｎｔｈｅｓｉｓ  ｂａｓｅｄ  ｏｎ  ｒｅｓｉｄｕａｌ  ｍｏｄｅｌｉｎｇ」（Ｐｒｏｃ．  ＩＳＣＡ  ＳＳＷ６，２００７、Ｒ．Ｍａｉａら）では、状態依存高度フィルタは閉ループ手順を用いて直接トレーニングされる。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、先行技術の欠点を克服した音声合成のための励起信号を提供することを目的とする。
【００１０】
さらに詳しくは、本発明は、合成された音声の「バズ音」または「金属様の」特徴を低減する有声シーケンスのための励起信号を提供することである。
【課題を解決するための手段】
【００１１】
本発明は、目標音声の励起信号を符号化するための方法であって、
‐トレーニング音声から抽出され、声門閉鎖インスタント（ＧＣＩ）ならびに正規化されたピッチおよびエネルギに同期化されたトレーニング正規化残差フレームの集合から、関連正規化残差フレームの集合を抽出するステップと、
‐目標音声の目標励起信号を決定するステップと、
‐前記目標励起信号をＧＣＩ同期目標フレームに分割するステップと、
‐ＧＣＩ同期目標フレームの局所ピッチおよびエネルギを決定するステップと、
‐ＧＣＩ同期目標フレームをエネルギおよびピッチの両方で正規化して、目標正規化残差フレームを得るステップと、
‐関連正規化残差フレームの前記抽出された集合の線形結合の係数を決定して、各目標正規化残差フレームに最も近い合成正規化残差フレームを作成するステップと、
を含み、
各目標残差フレームのための符号化パラメータが決定された係数を含んでなる、
方法に関する。
【００１２】
目標励起信号は、予め定められた合成フィルタの逆を目標信号に適用することによって得ることができる。
【００１３】
好ましくは、前記合成フィルタは、目標音声に適用されるスペクトル分析法、好ましくは線形予測法によって決定される。
【００１４】
関連正規化残差フレームの集合とは、目標正規化残差フレームに最も近い関連正規化残差フレームの線形結合によって合成正規化残差フレームを形成するために最高量の情報をもたらす正規化残差フレームの最小限の集合を意味する。
【００１５】
好ましくは、符号化パラメータはさらに韻律パラメータを含む。
【００１６】
より好ましくは、前記韻律パラメータはエネルギおよびピッチを含む（から構成される）。
【００１７】
関連正規化残差フレームの前記集合は、好ましくはＫ‐ｍｅａｎｓアルゴリズムおよびＰＣＡ分析から成る群から選択された統計的方法によって決定することが好ましい。
【００１８】
好ましくは、関連正規化残差フレームの集合はＫ‐ｍｅａｎｓアルゴリズムによって決定され、関連正規化残差フレームの集合は、決定されたクラスタセントロイドである。その場合、目標正規化残差フレームに最も近いクラスタセントロイドに関連付けられる係数は好ましくは１に等しく、他は零であり、あるいは同等に、最も近いセントロイドの数を表わす１つのパラメータだけが使用される。
【００１９】
代替的に、関連正規化残差フレームの前記集合は、主成分分析（ＰＣＡ）によって決定された第１固有残差の集合である。固有残差はここでは、ＰＣＡ分析の結果得られる固有ベクトルと理解される。
【００２０】
好ましくは、第１固有残差の前記集合は、寸法削減が可能になるように選択される。
【００２１】
好ましくは、第１固有残差の前記関連集合は情報レート基準に従って得られ、情報レートは次のように定義される。
0005581377.tif 000002
ここでλｉはＰＣＡによって降順に決定されたｉ番目の固有値を意味し、ｎは固有値の総数である。
【００２２】
トレーニング正規化残差フレームの集合は、
‐トレーニング音声の記録を提供するステップと、
‐前記音声サンプルを、予め定められた持続時間を有するサブフレームに分割するステップと、
‐前記トレーニングサブフレームを分析して合成フィルタを決定するステップと、
‐逆合成フィルタを前記トレーニングサブフレームに適用してトレーニング残差信号を決定するステップと、
‐前記トレーニング残差信号の声門閉鎖インスタント（ＧＣＩ）を決定するステップと、
‐前記トレーニング残差信号の局所ピッチ周期およびエネルギを決定するステップと、
‐前記トレーニング残差信号を、局所ピッチ周期に比例する持続時間を有するトレーニング残差フレームに分割して、前記トレーニング残差フレームが予め定められたＧＣＩを中心に同期するようにするステップと、
‐一定ピッチのトレーニング残差フレームで前記トレーニング残差フレームを再サンプリングするステップと、
‐前記一定ピッチのトレーニング残差フレームのエネルギを正規化して、ＧＣＩ同期化されたピッチおよびエネルギ正規化残差フレームの集合を得るステップと、
を含む方法によって決定することが好ましい。
【００２３】
本発明の別の態様は、本発明に係る符号化方法を使用して励起信号を合成するための方法であって、
‐符号化パラメータを使用して、関連正規化残差フレームの前記集合の線形結合によって、合成正規化残差フレームを作成するステップと、
‐前記合成正規化残差フレームをピッチおよびエネルギで非正規化して、目標局所ピッチ周期およびエネルギを有する合成残差フレームを得るステップと、
‐前記合成残差フレームをピッチ同期オーバラップ加算方法によって再結合して、合成励起信号を得るステップと、
をさらに含む方法に関する。
【００２４】
好ましくは、関連正規化残差フレームの前記集合は、ＰＣＡによって決定された第１固有残差の集合であり、高周波雑音が前記合成残差フレームに付加される。前記高周波雑音は、２から６ｋＨｚの間、好ましくは３から５ｋＨｚの間、最も好ましくは約４ｋＨｚの低周波遮断を有することができる。
【００２５】
本発明の別の態様は、合成音声信号の有声シーケンスの励起信号を決定するために本発明の励起信号を合成するための方法を使用する、パラメトリック音声合成のための方法に関する。
【００２６】
好ましくは、パラメトリック音声合成のための方法はさらに、目標励起信号を抽出するために使用される合成フィルタによって前記合成励起信号をフィルタリングするステップを含む。
【００２７】
本発明はまた、コンピュータ上で実行されたときに本発明に係る方法を実行する、コンピュータ可読媒体に記録された命令の集合にも関する。
【図面の簡単な説明】
【００２８】
【図１】図１は、混合励起方法を表わす。
【００２９】
【図２】図２は、重心技術を用いて声門閉鎖インスタントを決定するための方法を表わす。
【００３０】
【図３】図３は、統計分析に適したピッチ同期残差フレームのデータセットを得る方法を表わす。
【００３１】
【図４】図４は、本発明に係る励起方法を表わす。
【００３２】
【図５】図５は、女性話者ＳＬＴ用の第１固有残差を表わす。
【００３３】
【図６】図６は、話者ＡＷＢ用のｋ個の固有残差を使用したときの「情報レート」を表わす。
【００３４】
【図７】図７は、ＰＣＡ固有残差を用いた本発明に係る励起合成のための方法を表わす。
【００３５】
【図８】図８は、ピッチ同期残差フレームのＤＳＭ分解の実施例を表わす。左側のパネル：決定論的部分。中央のパネル：確率論的部分。右側のパネル：決定論的部分の振幅スペクトル（点鎖線）、雑音部（点線）、および両方の成分の重畳から成る再構成励起フレーム（実線）。
【００３６】
【図９】図９は、決定論的プラス確率論的成分法を使用する、本発明に係る励起信号合成の一般的ワークフローを表わす。
【００３７】
【図１０】図１０は、それぞれＲＮおよびピッチ同期残差フレームのコードブックを決定するための方法を表わす。
【００３８】
【図１１】図１１は、Ｋ‐ｍｅａｎｓ法を使用する場合の符号化および合成手順を表わす。
【００３９】
【図１２】図１２は、本発明の符号化および合成方法により実行された従来のパルス励起実験に対する選好テストの結果を表わす。
【発明を実施するための形態】
【００４０】
本発明は、パラメトリック音声合成装置のバズ音を低減する音声セグメントのための新規の励起方法を開示する。
【００４１】
本発明はまた、そのような励起を符号化するための符号化方法にも関する。
【００４２】
第１ステップで、残差フレームの集合が音声サンプル（トレーニングデータセット）から抽出される。この作業は、音声サンプルを予め定められた持続時間のトレーニングサブフレームに分割し、各トレーニングサブフレームを分析して、線形予測合成フィルタのような合成フィルタを定義し、次いで対応する逆フィルタを音声サンプルの各サブフレームに適用して、残差フレームに分割された残余信号を得ることによって達成される。
【００４３】
好ましくは、メル一般化ケプストラム係数（ＭＧＣ）を使用して、音声信号のスペクトル包絡線が正確かつ頑健に取り込まれるように、前記フィルタが定義される。定義された係数は次いで、線形予測合成フィルタを決定するために使用される。次いで、決定された合成フィルタの逆を使用して、残差フレームが抽出される。
【００４４】
残差フレームは、声門閉鎖インスタント（ＧＣＩ）と同期するように分割される。ＧＣＩの位置を突き止めるために、音声信号のエネルギの重心（ＣｏＧ）に基づく方法を使用することができる。決定される残差フレームはＧＣＩを中心にすることが好ましい。
【００４５】
図２は、ＣｏＧの（正から負への）ゼロクロスの検出と結合されたピークピッキング技術がいかにＧＣＩ位置の検出をさらに改善することができるかを示す。
【００４６】
好ましくは、残差フレームは２周期ハニング窓によって窓化される。関連残差フレームを抽出する前に残差フレーム間の比較点を確保するために、ＧＣＩアラインメントでは充分ではなく、ピッチおよびエネルギ両方の正規化が必要である。
【００４７】
ピッチ正規化は、残差フレームの最も重要な特徴を保持する再サンプリングによって、達成することができる。実は、逆フィルタリングによって得られる残差は声門フロー一次導関数に近似することを前提として、この信号を再サンプリングすることにより、声門開放率、非対称係数（およびその結果としてＦｇ／Ｆ０比、ここでＦｇは声門フォルマント周波数を表わし、Ｆ０はピッチを表わす）のみならず、戻り位相特性も維持される。
【００４８】
合成時に、残差フレームは、関連ピッチおよびエネルギ正規化残差フレームの結合を再サンプリングすることによって得られる。残差フレームが充分に低いピッチを有しない場合、続いて起きるアップサンプリングでスペクトルが圧縮され、高周波数における「エネルギホール」の出現の原因となる。それを回避するために、話者のピッチヒストグラムＰ（Ｆ０）が分析され、選択される正規化ピッチ値Ｆ０＊は典型的には、
0005581377.tif 000003
を満たすので、合成時に２０％のフレームだけがわずかにアップサンプリングされる。
【００４９】
ピッチ同期残差フレームを抽出するための一般的ワークフローを図３に示す。
【００５０】
この時点で、我々はしたがって、主成分分析（ＰＣＡ）またはＫ‐Ｍｅａｎｓ法のような統計的クラスタリング法を適用するのに適した、ＧＣＩ同期ピッチおよびエネルギ正規化残差フレーム（以下、ＲＮフレームという）のデータセットを自由に使うことができる。
【００５１】
次いでこれらの方法を使用して、関連ＲＮフレームの集合を定義する。それは目標残差フレームを再構築するために使用される。関連フレームの集合によって意味するものは、最小限の情報損失により目標フレームの記述における最高の次元縮小を可能にする、目標残差フレームに最も近い残差フレームを再構築するために最高量の情報をもたらすフレームの最小集合であり、またはＲＮフレームの集合と同等である。
【００５２】
第１代替例として、関連フレームの集合の決定は、主成分分析（ＰＣＡ）によって得られる正規直交基底でのピッチ同期残差フレームの分解に基づく。この基底は限定された数のＲＮフレームを含み、比較的小さい音声データベース（約２０分）で計算され、そこから有声フレームのデータセットが抽出される。
【００５３】
主成分分析は、最小二乗法（ＬＳ）の意味で入力データの最良の表現を得るために軸系の回転を適用する直交線形変換である。ＬＳ基準は、新しい軸に沿ったデータ分散の最大化と同等であることを示すことができる。ＰＣＡは次いで、データ共分散行列の固有値および固有ベクトルを計算することによって達成することができる。
【００５４】
ｍ個のサンプルのＮ個の残差フレームから成るデータセットの場合、ＰＣＡ計算から、ｍ個の固有値λｉがそれらの対応する固有ベクトルμｉ（以下、固有残差という）と共に導かれる。例えば、特定の女性話者の場合の第１固有残差を図５に示す。λｉは軸μｉに沿ったデータ分散を表わし、したがってこの固有残差がデータセットで伝える情報の尺度である。これは、次元縮小を適用するために重要である。ｋ個の第１固有残差を使用する場合の情報レートＩ（ｋ）を総分散に対するこれらのｋ個の軸に沿った分散の比率として定義しよう。
0005581377.tif 000004
【００５５】
図６は、男性話者ＡＷＢのこの変量を示す（この場合、ｍ＝２８０）。分析合成の適用に対する主観テストから、我々は、Ｉ（ｋ）が０．７５より大きくなるようにｋを選択すると、元のファイルと比較したときに略不可聴効果を生じることを観察した。図６の実施例に戻って、これは、この話者には約２０の固有残差を効果的に使用することができることを暗に示す。これは、ＰＣＡ変換（２０の第１固有残差に対する目標フレームの射影）によって定義される、２０の次元を有するベクトルによって目標フレームを効果的に記載することができることを意味する。したがって、これらの固有残差は関連ＲＮフレームの集合を形成する。
【００５６】
ひとたびＰＣＡ変換が計算されると、コーパス全体が分析され、目標音声励起信号を符号化するために、ＰＣＡベースのパラメータが抽出される。この場合の合成のワークフローを図７に示す。
【００５７】
好ましくは、混合励起モデルは、決定論的プラス確率論的励起モデル（ＤＳＭ）で使用することができる。これは、合成品質を劣化させることなく、音声セグメントの励起の符号化および合成のための固有残差の数を低減することを可能にする。その場合、励起信号は、決定論的低周波成分ｒｄ（ｔ）および確率論的高周波成分ｒｓ（ｔ）に分解される。最大有声周波数Ｆｍａｘは、決定論的および確率論的成分両方の間の境界を画定する。２から６ｋＨｚの値、好ましくは４ｋＨｚ程度の値をＦｍａｘとして使用することができる。
【００５８】
ＤＳＭの場合、信号の確率論的部分ｒｓ（ｔ）はＦｍａｘにカットオフを有する高域通過フィルタを通過する白色雑音であり、例えば自己回帰フィルタを使用することができる。好ましくは、追加的時間依存性を周波数切捨て白色雑音に重ね合わせることができる。例えばＧＣＩ中心三角形包絡線を使用することができる。
【００５９】
他方、ｒｄ（ｔ）は同様にして、前述の通り、固有残差の線形結合により正規化残差フレームを符号化および合成することによって計算される。得られた残差正規化フレームは次いで、目標ピッチおよびエネルギに非正規化される。
【００６０】
得られた決定論的および確率論的成分を図８に示す。
【００６１】
次いで、最終励起信号は和ｒｄ（ｔ）＋ｒｓ（ｔ）となる。この励起モデルの一般的ワークフローを図９に示す。
【００６２】
このＤＳＭモデルの品質改善は、１つの固有残差だけの使用で充分容認できる結果が得られたほどであった。この場合、励起はピッチによって特徴付けられるだけであり、ＰＣＡの重みのストリームは除去することができる。これは、励起信号が本質的に、計算負荷をほとんど必要としない一方で高品質の合成をもたらす（Ｆｍａｘ未満の）タイムラップ波形である、非常に単純なモデルを導く。
【００６３】
いずれの場合も、無声セグメントの励起はガウス白色雑音である。
【００６４】
別の代替例として、関連フレームの集合の決定は、Ｋ‐ｍｅａｎｓアルゴリズムによって決定される残差フレームのコードブックによって表わされる。Ｋ‐ｍｅａｎｓアルゴリズムは、属性に基づいてｎ個のオブジェクトをｋ個のパーティションにクラスタリングする方法である（ｋ＜ｎ）。オブジェクトの属性はベクトル空間を形成することが想定される。それが達成しようと試みる目的は、総クラスタ内分散または二乗誤差関数を最小化することである。
0005581377.tif 000005
ここでｋ個のクラスタＳｉ（ｉ＝１，２，．．．，ｋ）があり、μｉは全ての点ｘｊ∈Ｓｉのセントロイドまたは平均点である。
【００６５】
Ｋ‐ｍｅａｎｓ抽出セントロイドおよびＰＣＡ抽出固有ベクトルは両方とも、最小個数の係数（パラメータ）との線形結合によって目標正規化残差フレームを表わすために関連残差フレームを表わす。
【００６６】
１００個のセントロイドは圧縮を略不可聴に維持するのに充分であることが明らかになったので、Ｋ‐ｍｅａｎｓアルゴリズムを前述のＲＮフレームに適用し、典型的に１００個のセントロイドを保持する。これらの１００個の選択されたセントロイドは、コードブックを形成する関連正規化残差フレームの集合を形成する。
【００６７】
好ましくは、各セントロイドは、実際のトレーニングデータセットからの最も近いＲＮフレームに置換することができ、ＲＮフレームのコードブックが形成される。図１０は、ＲＮフレームのコードブックを決定するための一般的ワークフローを示す。
【００６８】
実際、フォルマントおよびピッチによるばらつきは排除されるので、圧縮の大きな利益を期待することができる。次いで実際の残差フレームを各セントロイドに割り当てることができる。このために、残差フレームを目標のピッチフレームに逆変換しなければならない場合に生じる問題を考慮する必要がある。合成中の「エネルギホール」の出現を低減するために、圧縮されたインベントリを構成するフレームは、できるだけ低いピッチを示すように選択される。各セントロイドに対し、Ｎ個の最も近いフレームが（それらのＲＮ距離にしたがって）選択され、最も長いフレームだけが保持される。これらの選択された最も近いフレームを本書では以後、セントロイド残差フレームという。
【００６９】
次いで、各目標正規化残差フレームに対し最も近いセントロイドを決定することによって、符号化が得られる。前記セントロイドは、目標正規化残差フレームと各セントロイドとの間の平均二乗誤差を計算することによって決定され、最も近いセントロイドは、計算される平均二乗誤差を最小化するセントロイドである。この原理を図１１で説明する。
【００７０】
関連正規化残差フレームは、従来のピッチ特徴に加えて、励起パラメータの新しいストリームにより、音声合成装置、例えば隠れマルコフモデル（ＨＭＭ）に基づく音声合成装置を改善するために使用することができる。
【００７１】
合成中に、次いで合成残差フレームが、符号化段階で決定されたパラメータを使用して、関連ＲＮの線形結合（すなわち、ＰＣＡ分析の場合には固有残差の結合、またはＫ‐ｍｅａｎｓの場合には最も近いセントロイド残差フレーム）によって生成される。
【００７２】
合成残差フレームは次いで目標韻律値（ピッチおよびエネルギ）に適応され、次いで目標合成励起信号を得るためにオーバラップ加算される。
【００７３】
生成されたＭＧＣ係数に基づくいわゆるメル対数スペクトル近似（ＭＬＳＡ）フィルタを最終的に使用して、合成音声信号を生成することができる。
【実施例１】
【００７４】
上記のＫ‐Ｍｅａｎｓ法を最初にトレーニングデータセット（音声サンプル）に適用した。最初に、次の値は好適な知覚結果をもたらしたので、α＝０，４２（Ｆｓ＝１６ｋＨｚ）およびγ＝−１／３を用いて、ＭＧＣ分析を実行した。前記ＭＧＣ分析は合成フィルタを決定した。
【００７５】
次いでテスト文（データセットには含まれない）をＭＧＣ分析した（励起およびフィルタの両方に対し、パラメータ抽出）。フレーミングがＧＣＩを中心とし、かつ有声領域中の２周期の長さとなるように、ＧＣＩを検出した。選択を行なうために、これらのフレームを再サンプリングし、正規化して、ＲＮフレームを得た。これらの後者のフレームを、図１１に示す励起信号再構成のワークフローに入力した。
【００７６】
ひとたび関連正規化残差フレームの集合から選択されると、各セントロイド正規化残差フレームはピッチおよびエネルギが修正され、元のフレームに取って代わる。
【００７７】
無声セグメントは同一エネルギの白色雑音セグメントに置換した。結果的に得られた励起信号を次いで、事前に抽出された原ＭＧＣ係数によってフィルタリングした。１００個のクラスタのコードブック、および１００個の対応する残差フレームを使用して実験を行なった。
【実施例２】
【００７８】
第２の実施例では、統計的パラメトリック音声合成装置を決定した。特徴ベクトルは、それらの一次および二次導関数により一つに連結された２４次ＭＧＣパラメータ、ｌｏｇ‐Ｆ０、および本書で上述したように決定された次数のＰＣＡ係数から構成された。α＝０．４２（Ｆｓ＝１６ｋＨｚ）およびγ＝−１／３を用いてＭＣＧ分析を実行した。有声／無声境界を取り扱うために多空間分布（ＭＳＤ）を使用した（ｌｏｇ‐Ｆ０およびＰＣＡは有声フレームのみで決定される）。それは全部で７つのストリームを導く。対角共分散単一ガウス分布を使用する５状態左右文脈依存音素ＨＭＭを使用した。ＨＭＭ状態占有統計から状態持続時間モデルも決定した。音声合成プロセス中に、持続時間モデルに従って最尤状態シーケンスが最初に決定される。その状態シーケンスに関連付けられる最尤特徴ベクトルシーケンスが次いで生成される。最後に、これらの特徴ベクトルがボコーダに供給されて、音声信号が生成される。
【００７９】
ボコーダのワークフローを図７に示す。生成されたＦ０値は有声／無声の決定を命令する。無声フレーム中は白色雑音が使用される。反対に、有声フレームは合成ＰＣＡ係数に従って構築される。第１バージョンは、説明で詳述した通り抽出された固有残差との線形結合によって得られる。このバージョンはサイズ正規化されるので、目標ピッチへの変換が要求される。既述の通り、これは再サンプリングによって達成することができる。充分に低いピッチの正規化中に行なわれた選択は、高い周波数でのエネルギホールの出現を回避するために、ここで明らかに制約として理解される。フレームは次いで、励起信号を得るためにオーバラップ加算される。生成されたＭＧＣ係数に基づくいわゆるメル対数スペクトル近似（ＭＬＳＡ）フィルタを最終的に使用して、合成音声信号が得られる。
【実施例３】
【００８０】
第３の実施例では、ＤＳＭモデルで上述したように、第１固有残差だけを使用すること、および高周波雑音を加えたことを除いて、第２の実施例と同じ方法を使用した。Ｆｍａｘは４ｋＨｚに固定し、ｒｓ（ｔ）は自己回帰モデルｈ（τ，ｔ）（高域通過フィルタ）により畳み込まれた白色ガウス雑音ｎ（ｔ）であり、その時間構造はパラメトリック包絡線ｅ（ｔ）によって制御された。
0005581377.tif 000006
ここでｅ（ｔ）はピッチ依存三角関数である。一部のさらなる研究は、ｅ（ｔ）が雑音構造の重要な特徴ではなく、最終結果を認知可能に劣化することなく、ｅ（ｔ）＝１のような平坦な関数とすることができることを示している。
【００８１】
各実施例で、次の３つの音声を評価した：Ｂｒｕｎｏ（フランス人男性、ＣＭＵ  ＡＲＣＴＩＣデータベースに由来しない）、ＣＭＵ  ＡＲＣＴＩＣデータベースからＡＷＢ（スコットランド人男性）およびＳＬＴ（米国人女性）。トレーニングセットは、ＡＷＢおよびＳＬＴの場合は約５０分、Ｂｒｕｎｏの場合は２時間の持続時間を有し、１６ｋＨｚでサンプリングされた音声学的にバランスの取れた発話から構成された。
【００８２】
主観テストは２０名の非専門家聴取者に提示された。それは話者毎に約７秒の４つの合成文から構成された。各文について、従来の励起または本発明に係る励起のいずれかを使用して２つのバージョンが提示され、被検者は彼らが好む方に投票するように要請された。従来の励起方法は、有声励起中にパルスシーケンスを使用した（すなわちＨＭＭベースの合成で使用される基本技術）。この従来技術の場合であっても、微細韻律を捕捉するためにＧＣＩ同期パルスを使用し、したがって結果的に得られたボコードされた音声は、高品質のベースラインをもたらした。結果を図１２に示す。見て分かる通り、図１２で１から３の番号が付けられた３つの実験の各々で改善を見ることができる。
【図１】
0005581377.tif 000007
【図２】
0005581377.tif 000008
【図３】
0005581377.tif 000009
【図４】
0005581377.tif 000010
【図５】
0005581377.tif 000011
【図６】
0005581377.tif 000012
【図７】
0005581377.tif 000013
【図８】
0005581377.tif 000014
【図９】
0005581377.tif 000015
【図１０】
0005581377.tif 000016
【図１１】
0005581377.tif 000017
【図１２】
0005581377.tif 000018