(57)【要約】【課題】聴取者が雑音下で聴き取り易い音声を合成する音声合成方法を提供する。【解決手段】母音および有声子音の平均基本周期を生成する手順と、周波数に反比例する周波数特性を持つ不規則信号を生成する手順と、不規則信号を元に平均基本周期に平均基本周期の４％以上に相当する伸縮幅で不規則に周期を時間伸縮しその時間伸縮幅の周波数スペクトルが周波数に反比例する周波数特性を持つ概周期信号を生成する手順と、概周期信号を駆動音源とする手順と、駆動音源を音韻性を決定する調音フィルタによってフィルタリングすることにより音声合成を行う手順と、を備える。【選択図】図１
2004317694.tif 000002
【特許請求の範囲】
【請求項１】
母音および有声子音の平均基本周期を生成する手順と、
周波数に反比例する周波数特性を持つ不規則信号を生成する手順と、
不規則信号を元に平均基本周期に平均基本周期の４％以上に相当する伸縮幅で不規則に周期を時間伸縮しその時間伸縮幅の周波数スペクトルが周波数に反比例する周波数特性を持つ概周期信号を生成する手順と、
を備えたことを特徴とする概周期信号生成方法。
【請求項２】
有声音／無声音を決定する駆動音源と音韻性を決定する調音フィルタを用い、駆動音源を調音フィルタによってフィルタリングすることにより音声合成を行う音声合成方法において、
駆動音源として請求項１に記載の概周期信号の生成方法により生成された概周期信号を用いることを特徴とする音声合成方法。
【請求項３】
音声を分割した音声波形素片を選択して適切に連結することにより音声合成を行う音声合成方法において、
音声波形素片の接続周期として請求項１に記載の概周期信号の生成方法により生成された概周期信号を用いることを特徴とする音声合成方法。
【請求項４】
母音および有声子音の平均基本周期を生成する平均基本周期生成部と、
周波数に反比例する周波数特性を持つ不規則信号を生成する不規則信号生成部と、
不規則信号を元に平均基本周期に平均基本周期の４％以上に相当する伸縮幅で不規則に周期を時間伸縮しその時間伸縮幅の周波数スペクトルが周波数に反比例する周波数特性を持つ概周期信号を生成する概周期信号生成部と、
を備えたことを特徴とする概周期信号生成装置。
【請求項５】
有声音／無声音を決定する駆動音源と音韻性を決定する調音フィルタを用い、駆動音源を音韻性を決定する調音フィルタによってフィルタリングすることにより音声合成を行う音声合成装置において、
駆動音源として請求項４に記載の概周期信号の生成装置により生成された概周期信号を用いることを特徴とする音声合成装置。
【請求項６】
音声を音声波形素片に分割した音声波形素片を選択して適切に連結することにより音声合成を行う音声合成装置において、
音声波形素片の接続周期として請求項１に記載の概周期信号の生成方法により生成された概周期信号を用いることを特徴とする音声合成装置。
【請求項７】
母音および有声子音の平均基本周期を生成する処理と、
周波数に反比例する周波数特性を持つ不規則信号を生成する処理と、
不規則信号により平均基本周期に平均基本周期の４％以上に相当する伸縮幅で不規則に周期を時間伸縮しその時間伸縮幅の周波数スペクトルが周波数に反比例する周波数特性を持つ概周期信号を生成する処理と、
生成した概周期信号を駆動音源とする処理と、
駆動音源をフィルタリングする音韻性を決定する調音フィルタを生成して音声合成を行う処理と、をコンピュータに実行させる音声合成プログラム。
【請求項８】
母音および有声子音の平均基本周期を生成する処理と、
周波数に反比例する周波数特性を持つ不規則信号を生成する処理と、
不規則信号により平均基本周期に平均基本周期の４％以上に相当する伸縮幅で不規則に周期を時間伸縮しその時間伸縮幅の周波数スペクトルが周波数に反比例する周波数特性を持つ概周期信号を生成する処理と、
音声波形素片の接続周期として概周期信号を用いる処理と、
音声波形素片を適切に連結することによって音声合成を行う処理と、をコンピュータに実行させる音声合成プログラム。
【請求項９】
母音および有声子音の平均基本周期を生成する処理と、
周波数に反比例する周波数特性を持つ不規則信号を生成する処理と、
不規則信号により平均基本周期に平均基本周期の４％以上に相当する伸縮幅で不規則に周期を時間伸縮しその時間伸縮幅の周波数スペクトルが周波数に反比例する周波数特性を持つ概周期信号を生成する処理と、
生成した概周期信号を駆動音源とする処理と、
駆動音源をフィルタリングする音韻性を決定する調音フィルタを生成して音声合成を行う処理と、をコンピュータに実行させる音声合成プログラムを記録した記録媒体。
【請求項１０】
母音および有声子音の平均基本周期を生成する処理と、
周波数に反比例する周波数特性を持つ不規則信号を生成する処理と、
不規則信号により平均基本周期に平均基本周期の４％以上に相当する伸縮幅で不規則に周期を時間伸縮しその時間伸縮幅の周波数スペクトルが周波数に反比例する周波数特性を持つ概周期信号を生成する処理と、
音声波形素片の接続周期として概周期信号を用いる処理と、
その音声波形素片を適切に連結することによって音声合成を行う処理と、をコンピュータに実行させる音声合成プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、雑音下でも聴き取りやすい母音および有声子音の音声合成方法、その装置、音声合成プログラムおよびその記録媒体に関し、特に、母音および有声子音を合成する際に用いられる概周期信号の生成に関する。
【０００２】
【従来の技術】
現在主流となっている音声合成方式を大別すると２種類に分類することができる。一つは、有声音（母音および有声子音）／無声音（無声子音）を決定する駆動音源と、音韻性を決定する調音フィルタを用い、駆動音源を調音フィルタによってフィルタリングすることで音声合成を行う音源−フィルタ方式の音声合成方法である（非特許文献１  参照）。もう一方は、録音された実際の音声を短い時間単位で素片に分割してデータベースに蓄積し、その素片を適切に連結することによって音声合成を行う波形接続方式の音声合成方法である（非特許文献２  参照）。
【０００３】
人間の音声のうち有声音部分においては、音声を自然に発声した場合、または発声音が一定の音高となるよう発声した場合でも、その音声の基本周波数は決して一定ではなく、必ず平均基本周波数の３％前後に相当する狭い帯域幅を持つ、不規則で微細な基本周波数の時間変動（周期波形の繰り返し周期の時間伸縮）が発生している。この音声の性質は従来知られており、一般にジッタ（ｊｉｔｔｅｒ）と呼ばれ、声帯振動の不規則性に由来する（非特許文献３  参照）。
通常、人間の聴覚はジッタを基本周波数の変動として明確には知覚できないが、音声合成技術においては、合成音声の有声音部分に対し人工的なジッタを与えることで、与えない場合に比べ合成音声の自然性や明瞭度が向上することが従来知られている（非特許文献１  参照）。そのため、多くの音声合成方式では合成音声の有声音部分の品質向上のために、人間の聴覚ではほぼ知覚されない範囲で、すなわち自然発声母音と同等の帯域幅に相当する平均基本周波数の３％以下の帯域幅を持つジッタを与えて音声合成を行っている。
【０００４】
また、ジッタ以外にも音声の基本周波数が時間変動する現象として、歌唱音声の有声音部分において、６．６Ｈｚ程度の周波数を持つ正弦波に従って音声の基本周波数をその平均基本周波数の３％から６％程度周波数変調する歌唱技術があり、これはビブラートと呼ばれている。ビブラートはプロの歌唱者の歌唱時にのみ観察され、その点でいかなる話者のいかなる有声音部分でも自然に発生しているジッタとは異なる。ビブラートを含む歌唱音声の合成方法は種々提案されている（特許文献１  参照）が、元来人間が自然音声にビブラートをつけることがないため、歌唱音声の合成以外の目的で音声合成に適用された例はない。また一般には、歌唱音声においてビブラートがあった場合でも、静かな環境における母音の明瞭度の向上には寄与しないとされている。
一方、合成音声の利用場面において、周囲環境に雑音が存在した場合でも聴取者が合成音声を聴き取ることができるようにするために、周囲環境の雑音のパワースペクトルを解析し、そのスペクトル形状に応じて合成音声のパワースペクトルを強調するよう制御し、合成音声の音の大きさを特定の周波数帯域において周囲環境の雑音に対し相対的に上昇させることによって、雑音下でも聴取者に聴き取り易い音声を合成する方法が提案されている（特許文献２  参照）。
【０００５】
【非特許文献１】
Ｄ．Ｈ．Ｋｌａｔｔ  ａｎｄ  Ｌ．Ｃ．  Ｋｌａｔｔ，“Ａｎａｌｙｓｉｓ，  ｓｙｎｔｈｅｓｉｓ，  ａｎｄ  ｐｅｒｃｅｐｔｉｏｎ  ｏｆ  ｖｏｉｃｅ  ｑｕａｌｉｔｙ  ｖａｒｉａｔｉｏｎｓ  ａｍｏｎｇ  ｆｅｍａｌｅ  ａｎｄ  ｍａｌｅ  ｔａｌｋｅｒｓ，    ”Ｔｈｅ  Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ａｃｏｕｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ，  Ｖｏｌ．８７，ｐｐ．８２０−８５７，１９９０
【非特許文献２】
Ｆ．Ｃｈａｎｐｅｎｔｉｅｒ  ａｎｄ  Ｍ．  Ｓｔｅｌｌａ，“Ｄｉｐｈｏｎｅ  ｓｙｎｔｈｅｓｉｓ  ｕｓｉｎｇ  ａｎ  ｏｖｅｒｌａｐ−ａｄｄ  ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ｓｐｅｅｃｈ  ｗａｖｅｆｏｒｍ  ｃｏｎｃａｔｅｎａｔｉｏｎ，  ”Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，  ｐｐ．２０１５−２０１８，１９８６
【非特許文献３】
Ｙ．Ｈｏｒｉｉ，“Ｆｕｎｄａｍｅｎｔａｌ  ｆｒｅｑｕｅｎｃｙ  ｐｅｒｔｕｒｂａｔｉｏｎ  ｏｂｓｅｒｖｅｄ  ｉｎ  ｓｕｓｔａｉｎｅｄ  ｐｈｏｎａｔｉｏｎ，”Ｔｈｅ  Ｊｏｕｒｎａｌ  ｏｆ  Ｓｐｅｅｃｈ  ａｎｄ  Ｈｅａｒｉｎｇ  Ｒｅｓｅａｒｃｈ，  Ｖｏｌ．２２，ｐｐ．５−１９，  １９７９
【特許文献１】
特開平１０−３１９９８４号公報
【特許文献２】
特開平５−３０７３９５号公報
【０００６】
【発明が解決しようとする課題】
従来のジッタあるいはビブラートを付加した音声合成方法では、周囲が静かな環境で合成音声を聴く場合での合成音声の自然性や明瞭度の向上を目指したものが多く、その利用に際し、周囲環境に雑音がある場合の聴き取り易さは考慮されておらず、ジッタあるいはビブラートを付加しない合成音声と比べて平均母音識別率は同程度であった。また、周囲環境の雑音を解析して合成音声のパワースペクトルを強調することで合成音声を聴き取り易くする方法においては、周囲環境の雑音を計測するために必ずマイクなどの集音機器が必要であり、加えて周囲環境の雑音の時間的な変化に応じて合成音声の音の大きさが変化することで不自然さが増し、かえって合成音声そのものの聴き取りを妨げる可能性もある。
この発明の目的は、周囲環境に雑音が存在する場合に、合成音声の音の大きさそのものを変化させることなく、合成音声の有声音に与えるジッタの帯域幅が平均基本周波数の４％以上となるように、その周期を不規則に時間伸縮することにより、人間の聴覚特性上、聴取者が雑音下でも聴き取り易い音声を合成する技術を提供することにある。特に、有声音を合成する際に必要となる駆動音源あるいは音声波形素片の接続周期として用いられる概周期信号の生成方法、それを適用した音声合成方法、その装置、プログラムおよびその記録媒体を提供する。
【０００７】
【課題を解決するための手段】
請求項１の発明では、平均基本周期の４％以上に相当する伸縮幅で周期長が不規則に時間伸縮しその時間伸縮幅の周波数スペクトルが周波数に反比例する周波数特性を持つ概周期信号を用いた、雑音下でも聴き取りやすい有声音声合成のために用いられる概周期信号の生成方法を提案する。
請求項２の発明では、請求項１に記載の概周期信号生成方法で生成された概周期信号を用いた、音源−フィルタ方式の音声合成方法を提案する。
請求項３の発明では、請求項１に記載の概周期信号生成方法で生成された概周期信号を用いた、波形接続方式の音声合成方法を提案する。
【０００８】
請求項４の発明では、平均基本周期の４％以上に相当する伸縮幅で周期長が不規則に時間伸縮しその時間伸縮幅の周波数スペクトルが周波数に反比例する周波数特性を持つ概周期信号を用いた、雑音下でも聴き取りやすい有声音声合成のために用いられる概周期信号の生成装置を提案する。
請求項５の発明では、請求項４に記載の概周期信号生成装置で生成された概周期信号を用いた、音源−フィルタ方式の音声合成装置を提案する。
請求項６の発明では、請求項４に記載の概周期信号生成装置で生成された概周期信号を用いた、波形接続方式の音声合成装置を提案する。
【０００９】
請求項７の発明では、請求項２の音声合成方法をコンピュータに実行させることで音声合成を行う、音声合成プログラムを提案する。
請求項８の発明では、請求項３の音声合成方法をコンピュータに実行させることで音声合成を行う、音声合成プログラムを提案する。
請求項９，１０の発明では、請求項７、８に記載の音声合成プログラムを記録したコンピュータ読み出し可能な記録媒体を提案する。
【００１０】
【発明の実施の形態】
（概周期信号）
自然発声された有声音の波形を観測すると、短時間内ではほぼ同一の形状を持つ波形の周期的な繰り返しを観測することができる。この繰り返し周期は短時間内でほぼ一定とみなすことができるが、実際は１周期ごとにその時間長が不規則かつ微細に伸縮している。このような性質を持つ信号を一般に概周期信号と呼ぶ。有声音を合成する際には、その周期を与えるために、上述の性質を持つ概周期信号を与える必要がある。本発明ではこの概周期信号を生成する。
合成音声の基本的な音の高さやイントネーションに係わる、有声音の平均基本周期を入力として周期信号を生成し、その各周期に対して不規則信号を元に時間伸縮を与え、結果得られた概周期信号を出力とする。その時間伸縮を与えるために、周波数に反比例する周波数特性、すなわち低周波数帯域のパワーが強く高周波数帯域のパワーが低い周波数特性を持つ不規則信号を用いる。
【００１１】
図１を参照して概周期信号生成装置及び方法を説明する。
不規則信号生成部１１において、この性質を持つ不規則信号を生成する。この不規則信号はｆＢｍ法（Ｓ．Ｐ．Ｖ．Ｐａｌｌａｔｉ  ａｎｄ  Ｅ．Ａ．Ｙｆａｎｔｉｓ，“Ａ  Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｍｏｕｎｔａｉｎ  Ｇｅｎｅｒａｔｉｏｎ，”Ｉｎｔｅｌｌｉｇｅｎｔ  Ｓｙｓｔｅｍｓ，  Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ，  ｐｐ．８８５−８９５，１９９５  ）によって人工的に生成することができる。また、自然発声された音声の有声音部分にピークピッキング法（Ｙ．Ｈｏｒｉｉ，“Ｆｕｎｄａｍｅｎｔａｌ  ｆｒｅｑｕｅｎｃｙ  ｐｅｒｔｕｒｂａｔｉｏｎ  ｏｂｓｅｒｖｅｄ  ｉｎ  ｓｕｓｔａｉｎｅｄ  ｐｈｏｎａｔｉｏｎ，”Ｊｏｕｒｎａｌ  ｏｆ  Ｓｐｅｅｃｈ  ａｎｄ  Ｈｅａｒｉｎｇ  Ｒｅｓｅａｒｃｈ，  Ｖｏｌ．２２，ｐｐ５−１９，  １９７９）を用いた場合でも、同様の性質の不規則信号を得ることができる。ｆＢｍ法によって得られた不規則信号の波形とその周波数スペクトルを図２に示す。
最大時間伸縮幅の算出部１２では、入力として与えられた有声音の平均基本周期に４％以上の数を乗ずることにより、概周期信号の各周期の最大時間伸縮幅を得る。
振幅の正規化部１３では、不規則信号生成部１１で得られた不規則信号の振幅幅（最大振幅と最小振幅の差）が、最大時間伸縮幅の算出部１２で得られた最大時間伸縮幅と等しくなるよう正規化を行う。
不規則信号系列をｒ、その振幅幅をＷｒ、最大時間伸縮幅の算出部１２で得られた最大時間伸縮幅をＷｔとすると、次式に従い正規化された不規則信号系列Ｒ（０を基準とした＋，−信号系列）を得る。
Ｒ＝ｒ×Ｗｔ／Ｗｒ
このようにして得られた不規則信号系列Ｒと入力である平均基本周期を基に、概周期信号生成部１４において概周期信号を生成する。概周期信号生成部１４では、まず、不規則信号系列Ｒに平均基本周期を合算し（すなわち、不規則信号を元に平均基本周期の時間軸に対する位置を変化させる）、概周期信号列Ｔを得る。すなわち、概周期信号列Ｔの各周期が不規則信号の各振幅値に対応した周期幅を持つパルス信号列を生成する。こうして得られたパルス信号列は、各周期の周期幅が不規則で微細に時間伸縮する、所望の概周期信号となる。概周期信号列Ｔの振幅値から得られた、概周期信号の性質を持つパルス信号列を図３に示す。
【００１２】
（音声合成）
上述のようにして得られた概周期信号の性質を持つパルス列は音声合成に用いることができる。この概周期信号を音源−フィルタ方式の音声合成方法の駆動音源に用いる、もしくは波形接続方式の音声合成方法の音声波形素片の接続周期に用いるなど、所望の合成音声を得るために有声音部分の基本周期の情報を用いる音声合成法に対して適用可能である。この概周期信号を用いて生成される、通常よりも大きな帯域幅を持つ合成音声の有声音は、ジッタやビブラートを持たない合成音声と同じ音の大きさであっても、人間の聴覚特性上、周囲環境に雑音がある場合でも聴き取り易い音声となる。
図４にこの発明による一実施例である音源−フィルタ方式の音声合成方式による音声合成装置を参照して音声合成装置及び方法を説明する。
図中２１は駆動音源装置として概周期信号を用いた場合の概周期信号生成装置を表す。この発明による音声合成装置は概周期信号生成装置２１と、白色雑音生成装置２２と、信号切替器２３と、フィルタリング処理部２４によって構成される。
概周期信号生成装置２１では、前記した概周期信号生成方法を元に、入力となる平均基本周期と不規則信号から概周期信号を生成して出力する。
白色雑音生成装置２２では、白色雑音（振幅が正規分布に従いランダムに決定される信号系列）を生成する。
信号切替器２３では、所望の合成音声の有声／無声に従い、有声音の場合は概周期信号を選択して出力し、無声子音などの無声音の場合は白色雑音を選択して出力する。
フィルタリング処理手段２４では、信号切替器２３の出力に対し、所望の合成音声を得るために必要な調音フィルタを用いてフィルタリングを行う。所望の合成音の調音フィルタは事前にデータベースなどに蓄積しておき、合成時に適切な調音フィルタが選択されるようにしておく。このフィルタリング処理の結果、出力として所望の合成音声を得ることができる。
上述した例はこの発明による概周期信号に基づく有声音の駆動音源装置を用いた、音源−フィルタ方式の音声合成装置である。
【００１３】
また、波形接続方式の音声合成において、波形選択部により素片辞書から取り出した音声波形素片の接続周期として、不規則信号生成部において生成された不規則信号を元に時間軸の伸縮を行い音声の単位波形とし、波形接続部により適切に連結することにより所望の合成音声を得ることができる。
【００１４】
上述したこの発明による概周期信号生成方法、およびそれを用いた音声合成法は、コンピュータが読み取り可能な符号によって記述されたプログラムをコンピュータに実行させることによって実現される。これらのプログラムは例えば磁気ディスクあるいはＣＤ−ＲＯＭのようなコンピュータが読み取り可能な記憶媒体に記憶され、記憶媒体からコンピュータにインストールするか或いは通信回線を通じてインストールされて実行される。
【００１５】
【発明の効果】
調波複合音を妨害音とし、例示した概周期信号に基づく駆動音源装置を用いた音源−フィルタ方式による音声合成装置により生成された、日本語の合成母音「あ」「い」「う」「え」「お」を目的音として、妨害音と目的音の信号対雑音比が−１０ｄＢとなるよう調整した条件下において、日本人の被験者２０名に単母音の識別を行ってもらった場合の平均母音識別率を図５に示す。調波複合音とはある周波数を持つ正弦波とその周波数の整数倍の周波数を持つ正弦波から構成される音を指し、ここでは実世界における音声や楽器音などと類似した性質を持つ人工音である。ここで用いた調波複合音の基本周波数は、目的音の合成母音の平均基本周波数と同じものを用いた。図５の横軸は合成母音のジッタの帯域幅が平均基本周波数の０％の場合、すなわちジッタを全く持たない合成母音を目的音とした場合と、この発明で提案する、平均基本周波数の４％以上の帯域幅である４．３％の帯域幅ののジッタを持つ合成母音を目的音とした場合を示し、縦軸は日本語５母音の被験者全員についての平均識別率を示している。合成母音の音の大きさは全て等しい。帯域幅が合成母音の平均基本周波数の０％である場合には、平均母音識別率は３８．８％であるが４．３％の場合は５５．０％にまで改善する。
図５に示されたとおり、妨害音が目的音である合成音声に対して１０倍のパワーを持つような、かなり強い雑音下においても、本発明の手法により、合成音声の音の大きさを変えることなく、人間の聴覚特性上聴き取り易い音声を合成する効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施例を示す概周期信号生成装置の構成図。
【図２】概周期信号生成に用いる不規則信号の波形とその周波数スペクトルを示す図。
【図３】本発明により生成される概周期信号の性質を持つパルス列の例を示す図。
【図４】本発明の実施例を示す音源ーフィルタ方式を用いた音声合成装置の構成図。
【図５】本発明の効果検証のための被験者実験の結果を示すグラフ。
【符号の説明】
１１・・・不規則信号生成部、１２・・・最大時間伸縮幅の算出部、１３・・・振幅の正規化部、１４・・・概周期信号生成部、２１・・・概周期信号生成装置、２２・・・白色雑音生成装置、２３・・・信号切替器、２４・・・フィルタリング処理部
【図１】
2004317694.tif 000003
【図２】
2004317694.tif 000004
【図３】
2004317694.tif 000005
【図４】
2004317694.tif 000006
【図５】
2004317694.tif 000007