(57)【要約】【課題】素片選択型もしくは、複数素片選択型の音声合成において、大規模な音声素片のパワー情報を適切に反映し、各音声区間における音声素片のパワー情報が自然で安定したものとなる高品質な音声合成装置を提供する。【解決手段】音声合成部１４は、音声素片記憶部２１、音素環境記憶部２２、音韻系列・韻律情報入力部２３、複数音声素片選択部２４、融合音声素片系列作成部２５、融合音声素片編集・接続部２６により構成され、融合音声素片系列作成部２５において、選択された複数の素片を融合することにより、融合音声素片を生成する。融合音声素片系列作成部２５において、選択された複数のＭ個の音声素片の平均パワー情報を求め、Ｎ個の音声素片を融合し、生成した融合音声素片のパワー情報を、前記Ｍ個の音声素片の平均パワー情報となるように補正する。【選択図】      図２
2006276528.tif 000002
【特許請求の範囲】
【請求項１】
入力されたテキストから得られる音韻系列を所定の合成単位に区切り、これら合成単位毎に代表音声素片を得て、これら代表音声素片を接続することによって合成音声を生成する音声合成装置において、
前記合成単位に対応する複数の音声素片を記憶する記憶手段と、
前記入力されたテキストから得られる音韻系列の各合成単位に対し、前記合成音声の歪みの度合いに基づいて、前記記憶手段に記憶された音声素片から複数の音声素片を選択する選択手段と、
前記複数の音声素片からパワー情報の統計量を求め、前記パワー情報の統計量に基づいて前記合成音声の品質が上がるように前記パワー情報を補正して、前記合成単位に対応する代表音声素片を生成する代表音声素片生成手段と、
前記生成された代表音声素片を接続することにより音声波形を生成する音声波形生成手段と、
を備える
ことを特徴とする音声合成装置。
【請求項２】
前記選択手段においてはＮ個及びＭ個（Ｎ＝＜Ｍ）の音声素片をそれぞれ選択し、
前記代表音声素片生成手段においては、
前記選択されたＭ個の音声素片からパワー情報の平均値を求め、
前記選択されたＮ個の音声素片を融合することにより融合音声素片を作成し、
前記融合音声素片のパワー情報が、前記Ｍ個の音声素片から求めたパワー情報の平均値となるように補正して前記代表音声素片を生成する
ことを特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記選択手段においてはＮ個及びＭ個（Ｎ＝＜Ｍ）の音声素片をそれぞれ選択し、
前記代表音声素片生成手段においては、
前記選択されたＭ個の音声素片からパワー情報の平均値を求め、
前記選択されたＮ個の音声素片それぞれのパワー情報が、前記パワー情報の平均値となるように補正し、
前記補正したＮ個の音声素片を融合することにより前記代表音声素片を生成する
ことを特徴とする請求項１記載の音声合成装置。
【請求項４】
前記選択手段においてはＮ個及びＭ個（Ｎ＝＜Ｍ）の音声素片をそれぞれ選択し、
前記代表音声素片生成手段においては、
前記選択されたＭ個の音声素片のパワー情報の平均値を求め、
前記選択されたＮ個の音声素片のパワー情報の平均値を求め、
前記Ｎ個の音声素片のパワー情報の平均値が前記Ｍ個の音声素片のパワー情報の平均値となるように補正するための補正値を求め、
前記補正値を適用することにより前記Ｎ個の音声素片のそれぞれを補正し、
前記補正したＮ個の音声素片を融合することにより前記代表音声素片を生成する
ことを特徴とする請求項１記載の音声合成装置。
【請求項５】
前記選択手段においてはＮ個及びＭ個（Ｎ＝＜Ｍ）の音声素片をそれぞれ選択し、
前記代表音声素片生成手段においては、
前記選択されたＭ個の音声素片からパワー情報の統計量を求め、
前記選択されたＮ個の音声素片のパワー情報をそれぞれ求め、
前記求めたパワー情報の統計量及び前記Ｎ個の音声素片のパワー情報に基づいて前記Ｎ個の音声素片それぞれの重みを決定し、
前記重みに基づいてＮ個の音声素片を融合することにより前記代表音声素片を生成する
ことを特徴とする請求項１記載の音声合成装置。
【請求項６】
前記選択手段においてはＮ個及びＭ個（Ｎ＝＜Ｍ）の音声素片をそれぞれ選択し、
前記代表音声素片生成手段においては、
前記選択されたＭ個の音声素片のパワー情報の統計量から前記パワー情報の分布が所定確率以上になる区間、または、パワー情報が妥当である区間を求め、
前記選択されたＮ個の音声素片のパワー情報をそれぞれ求め、
前記Ｎ個の音声素片のパワー情報が前記区間から外れる場合は前記選択すべき音声素片から除外し、
前記除外した音声素片を融合することにより前記代表音声素片を生成する
ことを特徴とする請求項１記載の音声合成装置。
【請求項７】
前記選択手段においてはＭ個の音声素片及び前記合成音声の歪みの度合いが少ない最適な音声素片を選択し、
前記代表音声素片生成手段においては、
前記選択されたＭ個の音声素片からパワー情報の平均値を求め、
前記最適な音声素片のパワー情報が、前記パワー情報の平均値となるように補正して前記代表音声素片を生成する
ことを特徴とする請求項１記載の音声合成装置。
【請求項８】
前記選択手段においてはＭ個の音声素片を選択し、
前記代表音声素片生成手段においては、
前記選択されたＭ個の音声素片のパワー情報の統計量から前記パワー情報の分布が所定確率以上になる区間、または、パワー情報が妥当である区間を求め、
前記パワー情報の区間に含まれるパワー情報を有する音声素片の中から前記合成音声の歪みの度合いが少ない最適な音声素片を選択することにより前記代表音声素片を生成する
ことを特徴とする請求項１記載の音声合成装置。
【請求項９】
前記Ｎ個の音声素片を融合した融合音声素片のパワー情報が、前記Ｍ個の音声素片から求めたパワー情報の平均値より大きい場合のみ、前記融合音声素片のパワー情報が前記パワー情報の平均値となるように前記融合音声素片を補正する
ことを特徴とする請求項２記載の音声合成装置。
【請求項１０】
前記Ｎ個の音声素片それぞれのパワー情報が、前記Ｍ個の音声素片から求めたパワー情報の平均値より大きい場合のみ、前記Ｎ個のそれぞれの音声素片のパワー情報が、前記パワー情報の平均値となるように音声素片を補正する
ことを特徴とする請求項３記載の音声合成装置。
【請求項１１】
前記Ｎ個の音声素片のパワー情報の平均値が前記Ｍ個の音声素片のパワー情報の平均値より大きい場合のみ、前記Ｎ個の音声素片のパワー情報の平均値が前記Ｍ個の音声素片のパワー情報となるように補正するための補正値を求め、前記Ｎ個の音声素片に補正値をそれぞれ適用する
ことを特徴とする請求項４記載の音声合成装置。
【請求項１２】
前記選択された最適な音声素片のパワー情報が、Ｍ個の音声素片から求めたパワー情報の平均値より大きい場合のみ、前記最適な音声素片のパワー情報を補正する
ことを特徴とする請求項７記載の音声合成装置。
【請求項１３】
前記パワー情報として、音声波形の平均二乗値もしくは平均絶対振幅値を用いる
ことを特徴とする請求項１から１２の中で少なくとも一項に記載の音声合成装置。
【請求項１４】
入力されたテキストから得られる音韻系列を所定の合成単位に区切り、これら合成単位毎に代表音声素片を得て、これら代表音声素片を接続することによって合成音声を生成する音声合成方法において、
前記合成単位に対応する複数の音声素片を記憶する記憶ステップと、
前記入力されたテキストから得られる音韻系列の各合成単位に対し、前記合成音声の歪みの度合いに基づいて、前記記憶ステップにおいて記憶された音声素片から複数の音声素片を選択する選択ステップと、
前記複数の音声素片からパワー情報の統計量を求め、前記パワー情報の統計量に基づいて前記合成音声の品質が上がるように前記パワー情報を補正して、前記合成単位に対応する代表音声素片を生成する代表音声素片生成ステップと、
前記生成された代表音声素片を接続することにより音声波形を生成する音声波形生成ステップと、
を備える
ことを特徴とする音声合成方法。
【請求項１５】
入力されたテキストから得られる音韻系列を所定の合成単位に区切り、これら合成単位毎に代表音声素片を得て、これら代表音声素片を接続することによって合成音声を生成する音声合成方法をコンピュータによって実現するプログラムにおいて、
前記合成単位に対応する複数の音声素片を記憶する記憶機能と、
前記入力されたテキストから得られる音韻系列の各合成単位に対し、前記合成音声の歪みの度合いに基づいて、前記記憶機能において記憶された音声素片から複数の音声素片を選択する選択機能と、
前記複数の音声素片からパワー情報の統計量を求め、前記パワー情報の統計量に基づいて前記合成音声の品質が上がるように前記パワー情報を補正して、前記合成単位に対応する代表音声素片を生成する代表音声素片生成機能と、
前記生成された代表音声素片を接続することにより音声波形を生成する音声波形生成機能と、
を実現する
ことを特徴とする音声合成方法のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト音声合成のための音声合成装置及びその方法に係り、特に音韻系列と、基本周波数及び音韻継続時間長などの韻律情報から音声信号を生成する音声合成装置及びその方法に関する。
【背景技術】
【０００２】
任意の文章から人工的に音声信号を作り出すことを「テキスト音声合成」という。テキスト音声合成は、一般的に言語処理部、韻律処理部及び音声合成部の３つの段階によって行われる。
【０００３】
入力されたテキストは、まず言語処理部において形態素解析や構文解析などが行われ、次に韻律処理部においてアクセントやイントネーションの処理が行われて、音韻系列・韻律情報（基本周波数、音韻継続時間長など）が出力される。最後に、音声信号合成部で音韻系列・韻律情報から音声波形を合成する。
【０００４】
音声合成方法の一つとして、入力された音韻系列・韻律情報を目標にして、大量の音声素片から音声素片系列を選択して合成する素片選択型の音声合成方法がある。素片選択型の音声合成は、予め記憶された大量の音声素片のなかから、入力された音韻系列・韻律情報に基づき音声素片を選択する。素片選択手法としては、音声を合成することで生じる合成音声の歪みの度合いをコスト関数として定義し、コストが小さくなるように素片系列を選択する方法がある。例えば、目標とする音声と各音声素片との韻律・音韻環境等の差異を表す目標歪み、音声素片を接続することで生じる接続歪をコストとして数値化し、このコストに基づいて音声合成に使用する音声素片系列を選択し、選ばれた音声素片系列に基づいて合成音声を生成する方法が用いられる。素片選択型の音声合成は、大量の音声素片から適切な音声素片系列を選択することにより、素片の編集及び接続における音質の劣化を抑えた合成音声を得ることができる。
【０００５】
また、入力された音韻系列・韻律情報を目標にして、入力音韻系列を区切ることにより得られる各合成単位に対して、合成音声の歪みの度合いに基づいて複数の音声素片を選択し、選択された複数の音声素片を融合することによって新たな音声素片を生成し、それらを接続して音声を合成する複数素片選択型の音声合成方法がある（非特許文献１参照）。
【０００６】
融合方法としては、例えばピッチ波形を平均化する方法が用いられる。これにより、素片選択型の音声合成器において生じる、目標としている音韻系列・韻律情報と選択された音声素片系列とのミスマッチによる音質劣化や素片接続のミスマッチによる音質劣化が低減し、肉声感を保持したまま合成音声の安定性を高めることができる。
【０００７】
また、合成音声のパワー制御を行う方法として、音声素片を音素境界で分割し、各部分素片毎にパワーを推定し、推定パワーに基づいて音声素片のパワーを変更する音声合成方法が開示されている（特許文献１参照）。パワー推定工程は、数量化Ｉ類の係数等、事前に用意したパラメータを用いてパワーを生成する。
【特許文献１】特開２００１−２８２２７６号公報
【非特許文献１】水谷竜也、籠嶋岳彦、“複数素片選択・融合方式による音声合成”、日本音響学会春季研究発表会講演論文集、2004年3月、1-7-3，pp．217-218
【発明の開示】
【発明が解決しようとする課題】
【０００８】
素片選択型音声合成器では、大量の音声素片の中から、コスト関数により選択された音声素片を選択するが、そのパワーは適切であるとは限らない。このため、パワーの不連続が知覚され、合成音声の品質を低下させる要因となっていた。また、複数素片選択型音声合成器においては、融合する素片数を増加させると合成音声のパワーは安定する反面、音質的な特徴の異なる多くの音声素片から融合音声素片を作成することになり、音質的な歪みが増す。さらに、素片融合の処理において、適切なパワーから大きく異なる音声素片を融合に用いることにより音質的な劣化が生じることがある。
【０００９】
パワー推定工程を持ち、事前に用意したパラメータを用いてパワー制御を行う音声合成方法では、大量の音声素片の持つパワーの情報を適切に反映したパワー制御を行うことは困難であり、パワーと音声素片とのミスマッチが起こる可能性がある。
【００１０】
本発明は、上記問題点に鑑み、素片選択型もしくは、複数素片選択型の音声合成において、大規模な音声素片のパワー情報を適切に反映し、各音声区間における音声素片のパワーが自然で安定したものとなる高品質な音声合成が実現できる音声合成装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、入力されたテキストから得られる音韻系列を所定の合成単位に区切り、これら合成単位毎に代表音声素片を得て、これら代表音声素片を接続することによって合成音声を生成する音声合成装置において、前記合成単位に対応する複数の音声素片を記憶する記憶手段と、前記入力されたテキストから得られる音韻系列の各合成単位に対し、前記合成音声の歪みの度合いに基づいて、前記記憶手段に記憶された音声素片から複数の音声素片を選択する選択手段と、前記複数の音声素片からパワー情報の統計量を求め、前記パワー情報の統計量に基づいて前記合成音声の品質が上がるように前記パワー情報を補正して、前記合成単位に対応する代表音声素片を生成する代表音声素片生成手段と、前記生成された代表音声素片を接続することにより音声波形を生成する音声波形生成手段と、を備えることを特徴とする音声合成装置である。
【発明の効果】
【００１２】
本発明によれば、素片選択型・複数素片選択融合型どちらの方式においても、合成音声のパワーを安定化することができる。事前にパワーを推定し、制御する方法と比べた場合、大規模な音声素片のなかからコスト関数に基づいて複数の素片を選択して平均パワーを生成するため、大規模な音声素片のパワー情報を適切に反映した合成音声を得ることができる。
【００１３】
また、パワー情報に基づく素片融合時の重み付け、もしくは不良素片の除去を行うことができ、音質を向上することができる。これらの結果により、音質を保ちつつ安定したパワーとなり、より自然な合成音声が得られる。
【発明を実施するための最良の形態】
【００１４】
本発明の実施形態では、入力されたテキストから得られる音韻系列を所定の合成単位に区切り、これら合成単位毎に代表音声素片を得て、これら代表音声素片を接続することによって合成音声を生成する音声合成装置において、前記合成単位に対応する複数の音声素片を記憶する記憶手段と、前記入力されたテキストから得られる音韻系列の各合成単位に対し、前記合成音声の歪みの度合いに基づいて、前記記憶手段に記憶された音声素片から複数の音声素片を選択する選択手段と、前記複数の音声素片からパワー情報の統計量を求め、前記パワー情報の統計量に基づいて前記合成音声の品質が上がるように前記パワー情報を補正して、前記合成単位に対応する代表音声素片を生成する代表音声素片生成手段と、前記生成された代表音声素片を接続することにより音声波形を生成する音声波形生成手段と、を備える。かかる構成により、合成音声を生成する際に、各音声区間において音声素片群から選択した複数の音声素片のパワー情報の統計量を用いて音声素片を補正することになり、大規模な音声素片のパワー情報を適切に反映した合成音声を得ることができる。
【００１５】
また、前記選択手段においてはＮ個及びＭ個（Ｎ＝＜Ｍ）の音声素片をそれぞれ選択し、前記代表音声素片生成手段においては、前記選択されたＭ個の音声素片からパワー情報の平均値を求め、前記選択されたＮ個の音声素片を融合することにより融合音声素片を作成し、前記融合音声素片のパワー情報が、前記Ｍ個の音声素片から求めたパワー情報の平均値となるように補正して前記代表音声素片を生成する。かかる構成により、複数素片選択・融合型音声合成方式において、素片融合に用いる音声素片数はＮ個に制限することで音質を保ち、かつ、より多くのＭ個の音声素片の平均パワーを用いて補正することにより、融合音声素片のパワーは安定し、自然な合成音声が得られる。
【００１６】
また、前記選択手段においてはＭ個の音声素片及び、最適な音声素片を選択し、前記代表音声素片生成手段においては、前記選択されたＭ個の音声素片からパワー情報の平均値を求め、前記最適な音声素片のパワー情報が、前記Ｍ個の音声素片から求めたパワー情報の平均値となるように音声素片を補正することにより代表音声素片を生成する。かかる構成により、素片選択型音声合成方式において、複数のＭ個の音声素片の平均パワーを用いて選択された最適音声素片を補正し、補正した音声を接続するため、高い音質を保ったまま合成音声のパワーが安定する。
【００１７】
また、前記選択手段においてはＮ個及びＭ個（Ｎ＝＜Ｍ）の音声素片を選択し、前記代表音声素片生成手段においては、前記選択されたＭ個の音声素片からパワー情報の統計量を求め、前記選択されたＮ個の音声素片それぞれのパワー情報を求め、前記Ｍ個の音声素片から求めたパワー情報の統計量に基づいて前記Ｎ個の音声素片それぞれの重みを決定し、前記重みに基づいてＮ個の音声素片を融合することにより代表音声素片を生成する。かかる構成により、複数素片選択・融合型音声合成方式において、素片融合に用いる各音声素片のパワーが、より多くのＭ個の音声素片の平均パワーから離れるほど、融合時の重みが小さくなる。これにより、融合音声素片の品質が向上し、高品質な合成音声が得られる。
【００１８】
また、前記選択手段においてはＮ個及びＭ個（Ｎ＝＜Ｍ）の音声素片を選択し、前記代表音声素片生成手段においては、前記選択されたＭ個の音声素片のパワー情報の統計量から区間を求め、前記選択されたＮ個の音声素片それぞれのパワー情報を求め、Ｎ個の音声素片それぞれのパワー情報が前記区間から外れる場合は外れ値として選択素片から除外し、前記外れ値を除外した音声素片を融合することにより代表音声素片を生成する。かかる構成により、複数素片選択・融合型音声合成方式において、素片融合に用いる各音声素片のパワーが、より多くのＭ個の音声素片の平均パワーから大きくずれる不良素片を除去することになり、不良素片を除いて素片融合を行うことにより融合音声素片の品質が向上し、高品質な合成音声が得られる。
【００１９】
また、Ｎ個の音声素片を融合した融合音声素片のパワー情報が、複数のＭ個の音声素片から求めたパワー情報の平均値より大きい場合のみ、融合音声素片のパワー情報が前記パワー情報の平均値となるように融合音声素片を補正する。かかる構成により、パワー情報が小さくなる方向にのみ補正するため、融合音声素片にノイズ成分が含まれている場合においても、それを増幅してしまう可能性がなくなり、パワーの補正に起因する音質劣化を避けることができる。
【００２０】
以下、図面を参照して本発明の具体的な実施形態を説明する。
【００２１】
［第１の実施形態］
第１の実施形態のテキスト音声合成装置について説明する。
【００２２】
［１］テキスト音声合成装置の構成
図１は、本発明の第１の実施形態に係るテキスト音声合成装置の構成を示すブロック図である。
【００２３】
このテキスト音声合成装置はテキスト入力部１１、言語処理部１２、韻律処理部１３、音声合成部１４、音声波形出力部１５から構成される。
【００２４】
言語処理部１２は、テキスト入力部１１から入力されるテキストの形態素解析・構文解析を行い、その結果を韻律処理部１３へ送る。
【００２５】
韻律処理部１３は、言語解析結果からアクセントやイントネーションの処理を行い、音韻系列（音韻記号列）及び韻律情報を生成し、音声合成部１４へ送る。
【００２６】
音声合成部１４は、音韻系列及び韻律情報から音声波形を生成する。こうして生成された音声波形は音声波形出力部１５で出力される。
【００２７】
［２］音声合成部１４の構成
図２は、図１の音声合成部１４の構成例を示すブロック図である。
【００２８】
図２において、音声合成部１４は、音声素片記憶部２１、音素環境記憶部２２、音韻系列・韻律情報入力部２３、複数音声素片選択部２４、融合音声素片系列作成部２５、融合音声素片編集・接続部２６により構成される。
【００２９】
［２−１］音声素片記憶部２１
音声素片記憶部２１には音声素片が蓄積されており、それらの音素環境の情報（音素環境情報）が音素環境記憶部２２に蓄積されている。
【００３０】
音声素片記憶部２１には、合成音声を生成する際に用いる音声の単位（合成単位）の音声素片が記憶されている。合成単位は、音素あるいは音素を分割したものの組み合わせであり、例えば、半音素、音素（Ｃ、Ｖ）、ダイフォン（ＣＶ、ＶＣ、ＶＶ）、トライフォン（ＣＶＣ、ＶＣＶ）、音節（ＣＶ、Ｖ）、などであり（Ｖは母音、Ｃは子音を表す）、これらが混在しているなど可変長であってもよい。
【００３１】
音声素片の音素環境とは、当該音声素片にとっての環境となる要因に対応する情報である。要因としては、例えば、当該音声素片の音素名、先行音素、後続音素、後々続音素、基本周波数、音韻継続時間長、ストレスの有無、アクセント核からの位置、息継ぎからの時間、発声速度、感情などがある。
【００３２】
［２−２］音韻系列・韻律情報入力部２３
音韻系列・韻律情報入力部２３には、韻律処理部１３から出力された入力テキストに対応する音韻系列及び韻律情報が入力される。音韻系列・韻律情報入力部２３に入力される韻律情報としては、基本周波数、音韻継続時間長などがある。
【００３３】
以下、音韻系列・韻律情報入力部２３に入力される音韻系列と韻律情報を、それぞれ「入力音韻系列」、「入力韻律情報」と呼ぶ。入力音韻系列は、例えば音韻記号の系列である。
【００３４】
［２−３］複数音声素片選択部２４
複数音声素片選択部２４は、入力音韻系列の各合成単位に対し、入力韻律情報と、融合音声素片の音素環境に含まれる韻律情報とに基づいて合成音声の歪みの度合いを推定し、前記合成音声の歪みの度合いに基づいて音声素片記憶部２１に記憶されている音声素片の中から、平均パワー情報を求めるための複数のＭ個の音声素片及び、融合素片を求めるための複数のＮ個（Ｎ＝＜Ｍ）の音声素片を選択する。
【００３５】
ここで、合成音声の歪みの度合いは、音素素片記憶部２１に記憶されている音声素片の音素環境と音韻系列・韻律情報入力部２３から送られる目標音素環境との違いに基づく歪みである目標コストと、接続する音声素片間の音素環境の違いに基づく歪みである接続コストの重み付け和として求められる。
【００３６】
すなわち、目標コストとは、音声素片記憶部２１に記憶されている音声素片を入力されたテキストの目標素片環境のもとで使用することによって生じる歪みであり、接続コストとは、接続する音声素変換の素片環境が不連続であることによって生じる歪みである。本実施形態においては、合成音声の歪みの度合いとして、後述するコスト関数を用いる。
【００３７】
［２−４］融合音声素片系列作成部２５
次に、融合音声素片系列作成部２５において、選択された複数の素片を融合することにより、融合音声素片を生成する。音声素片の融合は例えば、後述するようにピッチ波形を平均化することにより作成することができる。この融合音声素片系列作成部２５において、選択された複数のＭ個の音声素片の平均パワー情報を求め、Ｎ個の音声素片を融合し、生成した融合音声素片のパワー情報を、前記Ｍ個の音声素片の平均パワー情報となるように補正する。その結果、入力音韻系列の音韻記号の系列に対応するパワー情報の補正された融合音声素片の系列が得られる。融合音声素片の系列は、融合音声素片編集・接続部２６において、入力韻律情報に基づいて変形及び接続され、合成音声の音声波形が生成される。こうして生成された音声波形は音声波形出力部１５で出力される。
【００３８】
なお、「パワー情報」とは、音声波形の平均二乗値もしくは平均絶対振幅値である。
【００３９】
［３］音声合成部１４の各処理
以下、音声合成部１４の各処理について詳しく説明する。
【００４０】
ここでは、合成単位の音声素片は音素であるとする。
【００４１】
［３−１］音声素片記憶部２１
音声素片記憶部２１には、図３に示すように、各音素の音声信号の音声波形が当該音素を識別するための音声素片番号と共に記憶されている。また、音素環境記憶部２２には、図４に示すように、音声素片記憶部２１に記憶されている各音声素片の音素環境情報が、当該音素の素片番号に対応付けて記憶されている。ここでは、音素環境として、音素記号（音素名）、基本周波数、音韻継続長、接続境界ケプストラムが記憶されている。
【００４２】
なお、ここでは音声素片は音素単位としているが、半音素、ダイフォン、トライフォン、音節あるいはこれらの組み合わせや可変長であっても上記同様である。
【００４３】
音声素片記憶部２１に記憶されている各音声素片は、別途収集された多数の音声データ対して音素毎にラベリングを行い、音素毎に音声波形を切り出したものを、音声素片として蓄積したものである。例えば、図５には、音声データ５１に対し、音素毎にラベリングを行った結果を示している。図５では、ラベル境界５２により区切られた各音素の音声データ（音声波形）について、ラベルデータ５３として音素記号を付与している。なお、この音声データから、各音素についての音素環境の情報（例えば、音韻（この場合、音素名（音素記号））、基本周波数、音韻継続時間長など）も抽出する。このようにして音声データ５１から求めた各音声波形と、当該音声波形に対応する音素環境の情報には、同じ素片番号が与えられて、図３及び図４に示すように、音声素片記憶部２１と音素環境記憶部２２にそれぞれ記憶される。ここでは、音素環境情報には、音声素片の音韻とその基本周波数及び音韻継続時間長を含むものとする。
【００４４】
［３−２］複数音声素片選択部２４
次に、複数音声素片選択部２４に説明する。
【００４５】
［３−２−１］コスト関数
まず、複数音声素片選択部２４において素片系列を求める際に用いられるコスト関数について説明する。
【００４６】
音声素片を変形・接続して合成音声を生成する際に生ずる歪の要因毎にサブコスト関数Ｃｎ（ｕｉ、ｕｉ−１、ｔｉ）（ｎ：１，…，Ｎ、Ｎはサブコスト関数の数）を定める。ここで、ｔｉは、入力音韻系列及び入力韻律情報に対応する目標とする音声（目標音声）をｔ＝（ｔ１、…、ｔＩ）としたときのｉ番目のセグメントに対応する部分の音声素片の目標とする音素環境情報を表し、ｕｉは音声素片記憶部２１に記憶されている音声素片のうち、ｔｉと同じ音韻の音声素片を表す。
【００４７】
サブコスト関数は、音声素片記憶部２１に記憶されている音声素片を用いて合成音声を生成したときに生ずる当該合成音声の目標音声に対する歪みの度合いを推定するためのコストを算出するためのものである。
【００４８】
当該コストを算出するために、当該音声素片を使用することによって生じる合成音声の目標音声に対する歪みの度合いを推定する「目標コスト」と、当該音声素片を他の音声素片と接続したときに生じる当該合成音声の目標音声に対する歪みの度合いを推定する「接続コスト」という２種類のサブコストがある。
【００４９】
目標コストとしては、音声素片記憶部２１に記憶されている音声素片の基本周波数と目標の基本周波数との違い（差）を表す基本周波数コスト、音声素片の音韻継続時間長と目標の音韻継続時間長との違い（差）を表す音韻継続時間長コストを用いる。
【００５０】
接続コストとしては、接続境界でのスペクトルの違い（差）を表すスペクトル接続コストを用いる。具体的には、基本周波数コストは、
【数１】
2006276528.tif 000003
【００５１】
から算出する。ここで、ｖｉは音声素片記憶部２１に記憶されている音声素片ｕｉの音素環境を、ｆは音素環境ｖｉから平均基本周波数を取り出す関数を表す。また、音韻継続時間長コストは、
【数２】
2006276528.tif 000004
【００５２】
から算出する。ここで、ｇは音素環境ｖｉから音韻継続時間長を取り出す関数を表す。スペクトル接続コストは、２つの音声素片間のケプストラム距離：
【数３】
2006276528.tif 000005
【００５３】
から算出する。ここで、ｈは音声素片ｕｉの接続境界のケプストラム係数をベクトルとして取り出す関数を表す。これらのサブコスト関数の重み付き和を合成単位コスト関数と定義する：
【数４】
2006276528.tif 000006
【００５４】
ここで、ｗｎはサブコスト関数の重みを表す。本実施形態では、簡単のため、ｗｎはすべて「１」とする。上記式（４）は、ある合成単位に、ある音声素片を当てはめた場合の当該音声素片の合成単位コストである。
【００５５】
入力音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対し、上記式（４）から合成単位コストを算出した結果を、全セグメントについて足し合わせたものをコストと呼び、当該コストを算出するためのコスト関数を次式（５）に示すように定義する：
【数５】
2006276528.tif 000007
【００５６】
［３−２−２］素片選択処理
複数音声素片選択部２４では、上記式（１）〜（５）に示したコスト関数を使って２段階で１セグメント当たり（すなわち、１合成単位当たり）複数の音声素片を選択する。
【００５７】
図６は、素片選択処理を説明するためのフローチャートである。
【００５８】
まず、１段階目の素片選択として、ステップＳ６１では、音声素片記憶部２１に記憶されている音声素片群の中から、上記式（５）で算出されるコストの値が最小の音声素片の系列を求める。このコストが最小となる音声素片の組み合わせを最適素片系列と呼ぶこととする。すなわち、最適音声素片系列中の各音声素片は、入力音韻系列を合成単位で区切ることにより得られる複数のセグメントのそれぞれに対応し、最適音声素片系列中の各音声素片から算出された上記合成単位コストと式（５）より算出されたコストの値は、他のどの音声素片系列よりも小さい値である。なお、最適素片系列の探索には、動的計画法（ＤＰ：ｄｙｎａｍｉｃ  ｐｒｏｇｒａｍｍｉｎｇ）を用いることでより効率的に行うことができる。
【００５９】
次に、ステップＳ６２に進み、２段階目の素片選択では、最適素片系列を用いて、１セグメント当たり複数の音声素片を選ぶ。ここでは、セグメントの数をＪ個とし、セグメント当たり、平均パワー情報を求めるためのＭ個の音声素片と、素片融合に用いるためのＮ個の音声素片を選択することとして、ステップＳ６２の詳細を説明する。
【００６０】
［３−２−３］１セグメント当たり複数の音声素片を選ぶ方法
ステップＳ６２１からＳ６２３では、Ｊ個のセグメントのうちの１つを注目セグメントとする。ステップＳ６２１からＳ６２３はＪ回繰り返され、Ｊ個のセグメントが１回ずつ注目セグメントとなるように処理を行う。
【００６１】
まず、ステップＳ６２１では、注目セグメント以外のセグメントには、それぞれ最適素片系列の音声素片を固定する。この状態で、注目セグメントに対して音声素片記憶部２１に記憶されている音声素片を式（５）のコストの値に応じて順位付けし、平均パワー情報を求めるための上位Ｍ個の音声素片と、素片融合に用いるための上位Ｎ個の音声素片を選択する。
【００６２】
例えば、図７に示すように、入力音韻系列が「ｔｓ・ｉ・ｉ・ｓ・ａ・…」であるとする。この場合、合成単位は、音素「ｔｓ」、「ｉ」、「ｉ」、「ｓ」、「ａ」、…のそれぞれに対応し、これら音素のそれぞれが１つのセグメントに対応する。図７では、入力された音韻系列中の３番目の音素「ｉ」に対応するセグメントを注目セグメントとし、この注目セグメントについて、複数の音声素片を求める場合を示している。この３番目の音素「ｉ」に対応するセグメント以外のセグメントに対しては、最適素片系列中の音声素片７１ａ、７１ｂ、７１ｄ、７１ｅ…を固定する。
【００６３】
この状態で、音声素片記憶部２１に記憶されている音声素片のうち、注目セグメントの音素「ｉ」と同じ音素名（音素記号）をもつ音声素片のそれぞれについて、式（５）を用いてコストを算出する。但し、それぞれの音声素片に対してコストを求める際に、値が変わるのは、注目セグメントの目標コスト、注目セグメントとその一つ前のセグメントとの接続コスト、注目セグメントとその一つ後のセグメントとの接続コストであるので、これらのコストのみを考慮すればよい。すなわち、
（手順１）  音声素片記憶部２１に記憶されている音声素片のうち、注目セグメントの音素「ｉ」と同じ音素名（音素記号）をもつ音声素片のうちの１つを音声素片ｕ３とする。音声素片ｕ３の基本周波数ｆ（ｖ３）と、目標の基本周波数ｆ（ｔ３）とから、式（１）を用いて、基本周波数コストを算出する。
【００６４】
（手順２）  音声素片ｕ３の音韻継続時間長ｇ（ｖ３）と、目標の音韻継続時間長ｇ（ｔ３）とから、式（２）を用いて、音韻継続時間長コストを算出する。
【００６５】
（手順３）  音声素片ｕ３のケプストラム係数ｈ（ｕ３）と、音声素片５１ｂ（ｕ２）のケプストラム係数ｈ（ｕ２）とから、式（３）を用いて、第１のスペクトル接続コストを算出する。また、音声素片ｕ３のケプストラム係数ｈ（ｕ３）と、音声素片５１ｄ（ｕ４）のケプストラム係数ｈ（ｕ４）とから、式（３）を用いて、第２のスペクトル接続コストを算出する。
【００６６】
（手順４）  上記（手順１）〜（手順３）で各サブコスト関数を用いて算出された基本周波数コストと音韻継続時間長コストと第１及び第２のスペクトル接続コストの重み付け和を算出して、音声素片ｕ３のコストを算出する。
【００６７】
（手順５）  音声素片記憶部２１に記憶されている音声素片のうち、注目セグメントの音素「ｉ」と同じ音素名（音素記号）をもつ各音声素片について、上記（手順１）〜（手順４）に従って、コストを算出したら、その値の最も小さい音声素片ほど高い順位となるように順位付けを行う（図６のステップＳ６２１）。例えば、図７では、音声素片７２ａが最も順位が高く、音声素片７２ｅが最も順位が低い。そして、平均パワー情報を求めるための７２ａから７２ｄまでの上位Ｍ個の音声素片を選択し（図６のステップＳ６２２）、また、音声素片を融合するための７２ａから７２ｃまでの上位Ｎ個（Ｎ＝＜Ｍ）の音声素片を選択する（図６のステップＳ６２３）。
【００６８】
以上の（手順１）〜（手順５）をそれぞれのセグメントに対して行う。その結果、それぞれのセグメントについて、Ｍ個及びＮ個の音声素片が得られる。
【００６９】
［３−３］融合音声素片作成部２５
次に融合音声素片作成部２５について説明する。
【００７０】
融合音声素片作成部２５では、複数音声素片選択部２４において選択された複数の音声素片を融合し、融合音声素片を作成する。
【００７１】
［３−３−１］融合音声素片作成部２５の処理
図８に融合音声素片作成部２５の処理を示す。
【００７２】
まず、ステップＳ８１において、選択されたＭ個の音声素片の平均パワー情報を求める。各音声の平均パワー情報Pｉを
【数６】
2006276528.tif 000008
【００７３】
として求め、求めた各素片のパワー情報Pｉ （1＝＜ｉ＝＜M）の平均値Pａｖｅ
【数７】
2006276528.tif 000009
【００７４】
を求めることにより、Ｍ個の音声素片の平均パワー情報を求める。式中、ｓｉ（ｎ）はｉ番目の音声素片の音声信号、Ｔはそのサンプル数を表す。
【００７５】
次に、ステップＳ８２において後述する融合方法を用いて、Ｎ個の音声素片を融合する。複数素片選択部２４において選択されたＮ個の音声素片を、音声素片記憶部２１から取得し、当該Ｎ個の音声素片を融合し、新たな音声素片（融合音声素片）を生成する。
【００７６】
最後に、ステップＳ８３において、融合音声素片のパワー情報を、前記平均パワー情報Ｐａｖｅに補正する。融合音声素片のパワー情報Ｐｆを式（６）により求め、パワー情報を補正する比率ｒを
【数８】
2006276528.tif 000010
【００７７】
により求める。この比率ｒを融合音声素片に掛けることによりパワー情報を補正する。
【００７８】
簡単のため、融合音声素片のパワー情報Ｐｆは、Ｎ個の音声素片のパワー情報Ｐｉ （１＝＜Ｉ＝＜Ｎ）の平均値としてもよい。
【００７９】
［３−３−２］パワー情報補正
図９にパワー情報補正の例を示す。図９中の表は、M＝１５としたときの、音素ｉの右素片において選択された上位M個の音声素片のパワー情報Ｐｉ （1＝＜ｉ＝＜M）を表している。この例では、半音素を合成単位としている。Ｎ＝３とした時、融合音声素片のパワー情報Ｐｆ＝２６９１６７１、Ｍ個の平均パワー情報Ｐａｖｅ＝１６４７０８４となり、パワー情報を補正する比率はｒ＝０．７８となる。このｒを融合音声素片の音声波形に掛けることによりパワー情報を補正する。
【００８０】
図１０にパワー情報を補正した波形の例を示す。図１０は、文頭の音素ｉを表している。図１０（ａ）は補正せず、融合音声素片をそのまま接続した場合、図１０（ｂ）は本発明によるパワー情報補正を行った場合を示している。横軸の数字はピッチマーク番号を表している。図１０（ａ）では、音素ｉの左半音素と右半音素の接続部分ピッチマーク番号９から１０にかけて、急激にパワー情報が大きくなっている。これに対し図１０（ｂ）では、左半音素がｒ＝１．２８、右半音素がｒ＝０．７８となり、接続部において滑らかに接続されていることがわかる。なお、この右半音素は、図９に対応している。
【００８１】
［３−３−３］音声素片の融合方法
次にステップＳ８２における音声素片の融合方法について説明する。このステップは音声素片が有声音である場合と無声音である場合とで別の処理を行う。
【００８２】
［３−３−３−１］有声音の場合
まずは有声音の場合について説明する。有声音の場合には、音声素片からピッチ波形を取り出し、ピッチ波形のレベルで融合し、新たなピッチ波形を作りだす。ピッチ波形とは、その長さが音声の基本周期の数倍程度までで、それ自身は基本周期を持たない比較的短い波形であって、そのスペクトルが音声信号のスペクトル包絡を表すものを意味する。
【００８３】
その抽出方法としては、単に基本周期同期窓で切り出す方法、ケプストラム分析やＰＳＥ分析によって得られたパワー情報スペクトル包絡を逆離散フーリエ変換する方法、線形予測分析によって得られたフィルタのインパルス応答によってピッチ波形を求める方法、閉ループ学習法によって合成音声のレベルで自然音声に対する歪が小さくなるようなピッチ波形を求める方法など様々なものがある。
【００８４】
ここでは、基本周期同期窓で切り出す方法を用いてピッチ波形を抽出する場合を例にとり、図１１のフローチャートを参照して、説明する。複数音声素片選択部２４で選択されたＮ個の音声素片を融合して１つの新たな音声素片を生成する場合の処理手順を説明する。
【００８５】
ステップＳ１１１において、Ｎ個の音声素片のそれぞれの音声波形に、その周期間隔毎にマーク（ピッチマーク）を付ける。図１２（ａ）には、Ｎ個の音声素片のうちの１つの音声素片の音声波形１２１に対し、その周期間隔毎にピッチマーク１２２が付けられている場合を示している。
【００８６】
ステップＳ１１２において、図１２（ｂ）に示すように、ピッチマークを基準として窓掛けを行ってピッチ波形を切り出す。窓にはハニング窓１２３を用い、その窓長は基本周期の２倍とする。そして、図１２（ｃ）に示すように、窓掛けされた波形１２４をピッチ波形として切り出す。Ｎ個の音声素片のそれぞれについて、図１２に示す処理（ステップＳ１１２の処理）を施す。その結果、Ｎ個の音声素片のそれぞれについて、複数個のピッチ波形からなるピッチ波形の系列が求まる。
【００８７】
次にステップＳ１１３に進み、当該セグメントのＮ個の音声素片のそれぞれのピッチ波形の系列の中で、最もピッチ波形の数が多いものに合わせて、Ｎ個全てのピッチ波形の系列中のピッチ波形の数が同じになるように、（ピッチ波形の数が少ないピッチ波形の系列については）ピッチ波形を複製して、ピッチ波形の数をそろえる。
【００８８】
図１３には、当該セグメントのＮ個（例えば、ここでは、３個）の音声素片ｄ１〜ｄ３のそれぞれから、ステップＳ１１２で切り出されたピッチ波形の系列ｅ１〜ｅ３を示している。ピッチ波形の系列ｅ１中のピッチ波形の数は７個、ピッチ波形の系列ｅ２中のピッチ波形の数は５個、ピッチ波形の系列ｅ３中のピッチ波形の数は６個であるので、ピッチ波形の系列ｅ１〜ｅ３のうち最もピッチ波形の数が多いものは、系列ｅ１である。従って、この系列ｅ１中のピッチ波形の数（例えば、ここでは、ピッチ波形の数は、７個）に合わせて、他の系列ｅ２、ｅ３については、それぞれ、当該系列中のピッチ波形のいずれかをコピーして、ピッチ波形の数を７個にする。その結果得られた、系列ｅ２、ｅ３のそれぞれに対応する新たなピッチ波形の系列がｅ２´、ｅ３´である。
【００８９】
次に、ステップＳ１１４に進む。このステップでは、ピッチ波形毎に処理を行う。ステップＳ１１４では、当該セグメントのＮ個のそれぞれの音声素片に対応するピッチ波形をその位置毎に平均化し、新たなピッチ波形の系列を生成する。この生成された新たなピッチ波形の系列を融合された音声素片とする。
【００９０】
図１４には、当該セグメントのＮ個（例えば、ここでは、３個）の音声素片ｄ１〜ｄ３のそれぞれからステップＳ１１３で求めたピッチ波形の系列ｅ１、ｅ２´、ｅ３´を示している。各系列中には、７個のピッチ波形があるので、ステップＳ１１４では、１番目から７番目のピッチ波形をそれぞれ３つの音声素片で平均化し、７個の新たなピッチ波形からなる新たなピッチ波形の系列ｆ１を生成している。すなわち、例えば、系列ｅ１の１番目とピッチ波形と、系列ｅ２´の１番目のピッチ波形と、系列ｅ３´の１番目のピッチ波形のセントロイドを求めて、それを新たなピッチ波形の系列ｆ１の１番目のピッチ波形とする。新たなピッチ波形の系列ｆ１の２番目〜７番目のピッチ波形についても同様である。ピッチ波形の系列ｆ１が、上記「融合音声素片」である。セントロイドを求める際、それぞれのピッチ波形に重み付けをしてもよい。この場合、ｅ１の重みをｗ１、ｅ２の重みをｗ２、ｅ３の重みをｗ３とし、重み付け平均
【数９】
2006276528.tif 000011
【００９１】
により新たなピッチ波形の系列ｆ１を求める。式（９）では、重みｗｉは正規化されているものとしている。
【００９２】
ピッチ波形の融合処理はピッチ波形の平均化に限定するものではない。例えば、閉ループ学習を使うことで、それぞれの音声素片のピッチ波形を取り出すことなく、合成音のレベルで最適なピッチ波形系列を作り出すことができる。閉ループ学習とは、実際に基本周波数や韻律継続時間長を変更して合成された合成音声のレベルで、自然音声に対する歪が小さくなるような代表音声素片を生成する方法である。閉ループ学習では、合成音声のレベルで歪が小さくなるような素片を生成するため、ピッチ波形の平均化によって新たな音声素片を作成する場合よりも、高品質な音声素片が作成される（特許文献２：特許第３２８１２８１号参照）。
【００９３】
［３−３−３−２］無声音の場合
一方、素片融合の処理ステップにおいて、無声音のセグメントの場合には、複数音声素片選択部２４で選択された当該セグメントのＮ個の音声素片のうち、当該Ｎ個の音声素片のそれぞれに付けられている順位が１位の音声素片の音声波形をそのまま使用する。
【００９４】
［３−４］融合素片編集・接続部２６
融合素片編集・接続部２６では、融合音声素片を、入力韻律情報に従って変形し、接続することで合成音声の音声波形を生成する。融合された音声素片は、実際にはピッチ波形の形になっているので、当該融合された音声素片の基本周波数、音韻継続時間長のそれぞれが、入力韻律情報に示されている目標音声の基本周波数、目標音声の音韻継続時間長になるようにピッチ波形を重畳することで、音声波形を生成することができる。
【００９５】
図１５は、融合素片編集・接続部２６の処理を説明するための図である。図１５では、音素「ｍ」、「ａ」、「ｄ」、「ｏ」の各合成単位について素片融合部で求めた融合された音声素片を変形・接続して、「まど」という音声波形を生成する場合を示している。図１５に示すように、入力韻律情報に示されている目標の基本周波数、目標の音韻継続時間長に応じて、セグメント（合成単位）毎に、融合された音声素片中の各ピッチ波形の基本周波数を変えたり（音の高さを変えたり）、ピッチ波形の数を増やしたり（時間長を変えたり）する。その後に、セグメント内、セグメント間で、隣り合うピッチ波形を接続して合成音声を生成する。
【００９６】
上述したように、本実施形態では、複数素片選択型音声合成において、音声素片を融合するためのＮ個の音声素片と、パワー情報を求めるためのＭ（Ｎ＝＜Ｍ）個の音声素片とを選択し、Ｍ個の音声素片の平均パワー情報に融合音声素片のパワー情報を補正することにより、接続の不連続感が減少し、自然な合成音声となる。
【００９７】
［４］変更例
［４−１］変更例１
本実施形態においては、融合音声素片のパワー情報をＭ個の音声素片の平均パワー情報に補正したが、Ｍ個の音声素片の平均パワー情報に予めＮ個の音声素片のパワー情報を補正し、補正したＮ個の音声素片を融合することによりパワー情報を補正しても良い。
【００９８】
この場合、融合音声素片作成部２５の処理は、図１６に示すように、ステップＳ１６１において、式（６）、式（７）によりＭ個の音声素片の平均パワー情報を求め、ステップＳ１６２においてＮ個の音声素片それぞれを、そのパワー情報がＰａｖｅとなるように補正し、ステップＳ１６３において補正した音声素片を融合することにより融合音声素片を作成する。
【００９９】
［４−２］変更例２
また、本実施形態においては、融合音声素片のパワー情報をＭ個の音声素片の平均パワー情報に補正したが、Ｍ個の音声素片の平均パワー情報及びＮ個の音声素片の平均パワー情報を求め、Ｎ個の音声素片の平均パワー情報がＭ個の音声素片の平均パワー情報となるように補正するための比率を求め、この比率をＮ個の音声素片それぞれに掛けることによりＮ個の音声素片を補正し、補正したＮ個の音声素片を融合することにより融合音声素片を作成しても良い。
【０１００】
この場合、融合音声素片作成部２６の処理は、図２３に示すように、ステップＳ２３１において、式（６）、式（７）によりＭ個の音声素片の平均パワー情報Ｐａｖｅを求め、同様に、ステップＳ２３２においてＮ個の音声素片の平均パワー情報Ｐｆを求め、ステップＳ２３３において、平均パワー情報Ｐｆ 及びＰａｖｅから、式（８）により比率ｒを求める。その後ステップＳ２３４において、Ｎ個の音声素片それぞれを、得られた比率ｒを掛けることにより補正し、ステップＳ２３５において、補正したＮ個の音声素片を融合することにより、融合音声素片を作成する。
【０１０１】
［４−３］変更例３
また、本実施形態においては、パワー情報を，式（６）で表される平均二乗値であるとして記述しているが、平均絶対振幅値の場合は式（６）の代わりに
【数１０】
2006276528.tif 000012
【０１０２】
を用い、式（８）の代わりに平均絶対振幅比
【数１１】
2006276528.tif 000013
【０１０３】
を用いる。これにより、平方根の計算が必要なくなり、整数演算のみで計算することができるようになる。
【０１０４】
［４−４］変更例４
また、図８のステップＳ８３及び、図１６のステップＳ１６２の融合音声素片もしくは、選択された音声素片のパワー情報を補正するステップにおいて、式（８）もしくは式（１１）により求められる補正する比率ｒが１．０より小さい場合のみ補正してもよい。これは、パワー情報を小さくする方向のみに補正することをあらわしており、これにより音声素片に加わったノイズ成分を増幅することを避けることができる。
【０１０５】
［第２の実施形態］
次に、第２の実施形態に係る融合音声素片作成部２５について説明する。
【０１０６】
図１７は第２の実施形態に係る融合音声素片作成部２５の処理を示したものである。
【０１０７】
第２の実施形態では、複数のＭ個のパワー情報の統計量から、式（９）中の融合音声素片の重みｗｉを決定する。
【０１０８】
図１７のステップＳ１７１では、複数音声素片選択部２４において選択された、Ｍ個の音声のパワー情報の平均及び分散を求める。
【０１０９】
そして、ステップＳ１７２に進み、素片融合に用いるＮ個の各音声素片のパワー情報の尤度を求める。尤度は、ガウス分布を仮定し、
【数１２】
2006276528.tif 000014
【数１３】
2006276528.tif 000015
【０１１０】
このように、素片融合に用いるＮ個の音声素片それぞれのパワー情報が、Ｍ個の音声素片のパワー情報から求めた分布の平均に近いほど重みが大きくなり、平均から外れるほど重みが小さくなる。このため、選択された各音声素片のパワー情報がそのセグメントにおける平均的な値から外れる素片の融合重みを小さくすることができ、融合による音質劣化を低減することができる。
【０１１１】
また、上記の融合重みの近似として、Ｎ個の音声素片中の各素片のパワー情報が、Ｍ個の音声素片のパワー情報の分布において、所定の確率となる区間から外れた場合の重みを０とし、それ以外の素片を等重みとして融合することができる。図１８にこの処理を示す。ステップＳ１８１において、選択されたＭ個の音声素片のパワー情報の平均・及び標準偏差・を求め、ステップＳ１８２において、パワー情報が所定の確率となる区間を求める。例えば、区間を（μ−１．９６σ＜Ｐｉ＜μ＋１．９６σ）とするとＰｉがその区間となる確率が９５％となる。
【０１１２】
次に、ステップＳ１８３において、前述した区間外の音声素片を取り除く。その区間から外れた場合の融合重みｗｉを０とすることで除去することができる。
【０１１３】
そして、ステップＳ１８４において、音声素片を融合し、融合音声素片を得る。図９のデータに適用すると、その区間は、（−２７３５７３＜Ｐｉ＜３５６７７３９）となり、Ｐ３＝４０９１９７９がこの範囲から外れる。このため、融合重みを、ｗｉ＝０．５、ｗ２＝０．５、ｗ３＝０として融合することで、外れ素片を除去することができる。区間の決定は上述した方法に限定するものではなく、統計量の一つである四分位範囲に基づく方法なども考えられる。
【０１１４】
例えば、パワーをソートして、３／４番目のパワー値（上側四分位数）と、１／４番目のパワー値（下側四分囲数）の差を四分位範囲と呼び、その定数倍（１．５倍等）を下側四分囲数のパワーの値から引いた値、定数倍を上側四分位数のパワーの値に足した範囲を区間と決め、その区間外のものを外れ値とする。
【０１１５】
本実施形態により、あるセグメントに対して選択された上位Ｎ個の素片のパワー情報が外れる場合には融合重みを小さくする、もしくは融合から除去することができる。これにより、合成音声のパワー情報の異なる素片を融合することによる音質劣化を防ぐことができ、自然な合成音声が得られる。また、第１の実施形態と組み合わせ、融合重みを第２の実施形態で決定し、パワー情報の補正を第１の実施形態の方法で行うことができる。
【０１１６】
［第３の実施形態］
第３の実施形態では、素片選択型の音声合成において、選択された最適な音声素片のパワー情報を複数素片の平均パワー情報に補正する。素片融合処理を含まない点が第１、第２の実施形態と異なる。
【０１１７】
［１］音声合成部１４の構成
図１８は、第２の実施形態に係る音声合成部１４の構成例を示したものである。
【０１１８】
音声合成部１４は、音声素片記憶部１９１、音素環境記憶部１９２、音韻系列・韻律情報入力部１９３、複数音声素片選択部１９４、音声素片作成部１９５、音声素片編集・接続部１９５、音声波形出力部１５より構成される。
【０１１９】
［１］音声素片記憶部１９１
音声素片記憶部１９１には、第１の実施形態と同様に、データベースを分析して得られる音声素片が記憶され、音素環境情報記憶部１９２には、各音声素片の音素環境が記憶されている。
【０１２０】
［２］複数音声素片選択部１９３
複数音声素片選択部１９３は、入力音韻系列の各合成単位に対し、入力韻律情報と、音声素片の音素環境に含まれる韻律情報との歪みの度合いを推定し、前記歪みの度合いを最小化するように音声素片記憶部１９１に記憶されている音声素片の中から複数の音声素片と、最適な音声素片とを選択する。複数の音声素片の選択は、上述した図２０に示すように、前述したコスト関数に基づいて行うことができる。図６の処理とは、上位Ｎ個の音声素片でなく最適な音声素片のみを選択している点が異なる。その結果、入力音韻系列の音韻記号の系列のそれぞれのセグメントに対応する複数のＭ個の音声素片及び、最適音声素片が選択される。
【０１２１】
［３］音声素片作成部１９５
次に音声素片作成部１９５について説明する。
【０１２２】
音声素片作成部１９５では、複数音声素片選択部１９４において選択された最適な音声素片のパワー情報を補正し、合成に用いる音声素片を作成する。
【０１２３】
図２１に音声素片作成部１９５の処理を示す。
【０１２４】
まず、ステップＳ２１１において、選択されたＭ個の各音声素片のパワー情報Ｐｉ（１＝＜ｉ＝＜M）を求め、その平均パワー情報Ｐａｖｅを求める。第１の実施形態と同様式（６）及び式（７）から求めることができる。 次に、ステップＳ２１２において最適音声素片のパワー情報Ｐ１をステップＳ２１１で得られたＭ個の平均パワー情報Ｐａｖｅに補正する。ここでは、パワー情報を補正する比率ｒを
【数１４】
2006276528.tif 000016
【０１２５】
により求める。この比率ｒを最適音声素片に掛けることによりパワー情報を補正する。
【０１２６】
図９のデータにおいては、Ｍ個の平均パワー情報Ｐａｖｅ＝１６４７０８４、最適素片のパワー情報Ｐ１＝２８５９８８３であり、比率ｒ＝０．７６となる。このｒを最適音声素片の音声波形に掛けることによりパワー情報を補正する。
【０１２７】
［４］音声素片編集・接続部１９６
音声素片編集・接続部１９６では、音声素片を、入力韻律情報に従って変形し、接続することで合成音声の音声波形を生成する。音声素片からピッチ波形を切り出し、当該音声素片の基本周波数、音韻継続時間長のそれぞれが、入力韻律情報に示されている目標音声の基本周波数、目標音声の音韻継続時間長になるようにピッチ波形を重畳することで、音声波形を生成することができる。
【０１２８】
上述したように、本実施形態では、素片選択型音声合成において、選択された音声素片を、複数のＭ個の音声素片の平均パワー情報に補正することにより、安定感が増し合成音声の品質が向上する。
【０１２９】
［５］変更例
また、第２の実施形態と同様に、Ｍ個の音声素片のパワー情報から区間を求め、その区間内で最適な音声素片を選択してもよい。
【０１３０】
この場合、音声素片作成部１９５は図２２に示すようになる。
【０１３１】
ステップＳ２２１において、Ｍ個の音声素片のパワー情報の平均及び標準偏差を求め、ステップＳ２２２において、パワー情報が所定の確率となる区間を求める。
【０１３２】
ステップＳ２２３において、１位の音声素片のパワー情報Ｐ１が区間内にあればそれを用い、なければ２位の音声素片のパワー情報Ｐ２が区間内かどうかを判定し、以下繰り返していきパワー情報が区間内に含まれる中でコストが最も小さい音声素片を選択する。これにより、上位の音声素片のパワー情報が大きく異なる場合は、それを外れ値として除外し除外した中で最適な音声素片を選択することができる。このように選択した音声素片のパワー情報をＭ個の平均パワー情報に補正してもよい。
【０１３３】
このようにして選択した音声素片を、音声素片編集・接続部１９６で編集・接続し合成音声を得ることができる。
【０１３４】
第１の実施形態と同様に、平均パワー情報でなく平均絶対振幅を用いてもよい。
【０１３５】
また、第１の実施形態と同様にパワー情報を小さくする方向のみに補正するため、図２１のステップＳ２１２の最適音声素片のパワー情報を補正するステップにおいて、補正する比率ｒが１．０より小さい場合のみ補正してもよい。これにより最適な音声素片に加わったノイズ成分を増幅することを避けることができる。
【図面の簡単な説明】
【０１３６】
【図１】本発明の第１の実施形態に係る音声合成装置の構成を示すブロック図である。
【図２】音声合成部の構成例を示すブロック図である。
【図３】音声素片記憶部の音声素片の記憶例を示す図である。
【図４】音素環境記憶部の音素環境の記憶例を示す図である。
【図５】音声データから音声素片を得るための手順を説明する図である。
【図６】複数音声素片選択部の処理動作を説明するためのフローチャートである。
【図７】入力音韻系列に対応する複数のセグメントのそれぞれに対し、複数の音声素片を求めるための手順を説明する図である。
【図８】融合音声素片作成部の処理動作を説明するためのフローチャートである。
【図９】パワー情報補正の実例を示す図である。
【図１０】パワー情報補正の実例を示す図である。
【図１１】素片融合ステップの処理を説明するフローチャートである。
【図１２】素片融合部の処理を説明するため図である。
【図１３】素片融合部の処理を説明するため図である。
【図１４】素片融合部の処理を説明するため図である。
【図１５】素片編集・接続部の処理動作を説明する図である。
【図１６】融合音声素片作成部の処理動作を説明するためのフローチャートである。
【図１７】本発明の第２の実施形態における融合音声素片作成部の処理動作を説明するためのフローチャートである。
【図１８】第２の実施形態における融合音声素片作成部の処理動作を説明するためのフローチャートである。
【図１９】本発明の第３の実施形態における音声合成部の構成例を示すブロック図である。
【図２０】第３の実施形態における複数音声素片選択部の処理動作を説明するためのフローチャートである。
【図２１】第３の実施形態における融合音声素片作成部の処理を示すフローチャートである。
【図２２】第３の実施形態における融合音声素片作成部の処理を示すフローチャートである。
【図２３】融合音声素片作成部の処理動作を説明するためのフローチャートである。
【符号の説明】
【０１３７】
１１    テキスト入力部
１２    言語処理部
１３    韻律処理部
１４    音声合成部
１５    音声波形出力部
２１    音声素片記憶部
２２    音素環境記憶部
２３    音韻系列・韻律情報入力部
２４    複数音声素片選択部
２５    融合音声素片系列作成部
２６    融合音声素片編集・接続部
【図１】
2006276528.tif 000017
【図２】
2006276528.tif 000018
【図３】
2006276528.tif 000019
【図４】
2006276528.tif 000020
【図５】
2006276528.tif 000021
【図６】
2006276528.tif 000022
【図７】
2006276528.tif 000023
【図８】
2006276528.tif 000024
【図９】
2006276528.tif 000025
【図１０】
2006276528.tif 000026
【図１１】
2006276528.tif 000027
【図１２】
2006276528.tif 000028
【図１３】
2006276528.tif 000029
【図１４】
2006276528.tif 000030
【図１５】
2006276528.tif 000031
【図１６】
2006276528.tif 000032
【図１７】
2006276528.tif 000033
【図１８】
2006276528.tif 000034
【図１９】
2006276528.tif 000035
【図２０】
2006276528.tif 000036
【図２１】
2006276528.tif 000037
【図２２】
2006276528.tif 000038
【図２３】
2006276528.tif 000039