(57)【特許請求の範囲】
【請求項１】
複数の自然音声それぞれの基本周波数パターンを抽出するパターン抽出部と、
各前記自然音声について、アクセント句の開始時刻と終了時刻とを含む言語情報を入力する入力部と、
前記入力部により入力された前記言語情報に含まれるアクセント句の開始時刻と終了時刻の情報に基づいて、各前記基本周波数パターンをアクセント句毎に区分するパターン区分部と、
前記区分された基本周波数パターンの１次微分曲線及び２次微分曲線を求める微分演算部と、
前記区分された基本周波数パターンの開始点及び終了点と、前記１次微分曲線のゼロ交差点と、前記２次微分曲線の最高点及び最低点と、を前記基本周波数パターンの節点として抽出する節点抽出部と、
を備えることを特徴とする、自然音声の節点抽出装置。
【請求項２】
前記自然音声についての言語情報には、疑問文であるか否かについての情報、及び、アクセント位置を含むか否かを示すアクセント位置時刻についての情報が含まれる、請求項１に記載の自然音声の節点抽出装置。
【請求項３】
前記節点抽出部は、前記自然音声についての言語情報に、疑問文であることを示す情報が含まれている場合には、前記区分された基本周波数パターンの終了点の直前の周波数最低点を節点として抽出する、請求項２に記載の自然音声の節点抽出装置。
【請求項４】
前記節点抽出部は、前記自然音声についての言語情報に、アクセント位置を含むことを示すアクセント時刻の情報が含まれている場合には、前記１次微分曲線のゼロ交差点以降の前記２次微分曲線の最高点及び最低点を夫々節点として抽出する、請求項２又は３に記載の自然音声の節点抽出装置。
【請求項５】
前記節点抽出部は、前記基本周波数パターンの節点として抽出した節点のうち、２つの隣り合う節点の中間点を新たに節点として抽出する、請求項１〜４の何れか１項に記載の自然音声の節点抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声合成装置のための節点抽出装置に関し、より詳細には、スプライン近似でピッチパターンを生成するために、必要な節点を抽出する自然音声の節点抽出装置に関するものである。
【０００２】
【従来の技術】
最近の音声合成装置は、規則合成方式に従って、音声を合成する。規則合成方式では、規則合成エンジンにパラメータとして節点を与えることで、音声の基本周波数の時間的変化パターンを示すピッチパターンが生成されて、音声を合成する規則の１つとして利用される。
【０００３】
音声合成装置は、節点抽出装置が自然音声から抽出した節点を予め記憶し、節点に基づいてスプライン近似を行い、ピッチパターンを生成する。スプライン近似は、節点と呼ばれる離散的な点を順に結び、スプライン関数を用いて、全体が滑らかな曲線に近似する処理である。
【０００４】
規則合成方式の音声合成装置では、音声合成の規則の１つとして、生成されたピッチパターンを利用し、別に入力される発音記号又は文字から、任意の語彙の連続音声を直接合成する。節点抽出装置は、発話者の性別や発話速度等の条件に左右されないで、節点を抽出できることが重要になり、幾つかの提案がなされている。
【０００５】
信学技法ＳＰ２０００−２９には、自然音声の節点抽出装置で使用される節点抽出方法が記載されている（２０００年７月発行の電子情報通信学会  信学技法：２０ページ、筆者：森川博由  坪井直宏  柳雄一郎、題名：「平滑化スプライン関数による音声のピッチパターンのモデル化と分析」）。この節点抽出装置が行う節点抽出方法（節点選択法）では、自然音声から基本周波数を抽出し、この抽出した基本周波数を各時間毎にプロットした複数のデータ点として求め、複数のデータ点から下記に示す２つの方法を用いて節点を選択する。
【０００６】
図６は、第１の節点選択法のフローチャートである。複数のデータ点の始点及び終点を２つの節点とし、始点から終点までの間を時間間隔ｄｔで等分割し、分割点毎に最も近いデータ点を抽出して節点候補にする（ステップＳ８１）。隣り合う節点候補間の傾きを求め、傾きの大きさがしきい値ＴH2より小さければ、節点候補から削除する（ステップＳ８２）。
【０００７】
節点及び節点候補に基づいて、平滑スプライン関数を求めて基本周波数パターン曲線との誤差を計算する（ステップＳ８３）。ここで、基本周波数パターン曲線とは、複数のデータ点の集まりを曲線として取り扱うものである。ステップＳ８３の誤差がしきい値ＴH3より小さいと、傾きの大きさが最も小さい節点候補を削除し、ステップＳ８３から処理を実行する（ステップＳ８６）。ステップＳ８３の誤差がしきい値ＴH3より大きいと、最終的に残った節点候補を節点として決定する（ステップＳ８５）。
【０００８】
図７は、第２の節点選択法のフローチャートである。複数のデータ点の始点及び終点を２つの節点とし、双方の節点を直線で結び、直線と最も遠いデータ点を節点候補とする（ステップＳ９１）。節点及び節点候補に基づいて、平滑スプライン関数を求めて基本周波数パターン曲線との誤差を計算する（ステップＳ９２）。
【０００９】
ステップＳ９２の誤差がしきい値ＴH3より大きいと、スプライン関数から最も遠いデータ点を新たな節点候補として追加し、ステップＳ９２から処理を実行する（ステップＳ９５）。ステップＳ９２の誤差がしきい値ＴH3より小さいと、最終的に残った節点候補を節点として決定する（ステップＳ９４）。
【００１０】
【発明が解決しようとする課題】
上記従来の自然音声の節点抽出装置では、第１の節点選択法は、分割する時間間隔ｄｔが発話速度に依存するので、時間間隔ｄｔを経験的に決定しなければならない。また、誤差と比較されるしきい値ＴH2又はＴH3を発話速度に応じて変更し、経験的に決定する必要があり、節点を安定して求められない。第２の節点選択方法も、第１の節点選択方法と同様に、しきい値ＴH2又はＴH3を使用するので、発話速度に依存し経験的に決定する必要がある。
【００１１】
一般に、自然音声の基本周波数パターン曲線について、その形状を考慮せずに節点を抽出すると、この節点に基づくスプライン近似で生成されたピッチパターンには、波打ち現象等のような影響が現れ、自然音声の基本周波数パターンと異なる形状やパターンが生成されることがある。
【００１２】
上記従来の自然音声の節点抽出装置では、節点及び節点候補に基づく誤差がしきい値内であるか否かの比較により節点を選択するので、自然音声の基本周波数パターンと異なるピッチパターンが生成されることがあり、基本周波数パターン曲線の形状を十分に考慮しているとはいえない。
【００１３】
本発明は、上記したような従来の技術が有する問題点を解決するためになされたものであり、スプライン近似でピッチパターンを生成するために、必要な節点を安定して効率よく抽出する自然音声の節点抽出装置を提供する。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、本発明の自然音声の節点抽出装置は、複数の自然音声それぞれの基本周波数パターンを抽出するパターン抽出部と、各前記自然音声について、アクセント句の開始時刻と終了時刻とを含む言語情報を入力する入力部と、前記入力部により入力された前記言語情報に含まれるアクセント句の開始時刻と終了時刻の情報に基づいて、各前記基本周波数パターンをアクセント句毎に区分するパターン区分部と、前記区分された基本周波数パターンの１次微分曲線及び２次微分曲線を求める微分演算部と、前記区分された基本周波数パターンの開始点及び終了点と、前記１次微分曲線のゼロ交差点と、前記２次微分曲線の最高点及び最低点と、を前記基本周波数パターンの節点として抽出する節点抽出部と、を備えることを特徴とする。
【００１５】
本発明の自然音声の節点抽出装置は、自然音声をアクセント句で区切って基本周波数を抽出した基本周波数パターン曲線の開始点及び終了点と、その１次微分曲線のゼロ交差点と、２次微分曲線の最高点及び最低点と、を基本周波数パターン曲線の節点として抽出する。これにより、節点抽出が基本周波数パターン曲線の形状を特徴づける変化点等で確実に行える。この節点は発話速度とは無関係に抽出されるので、安定して効率のよい節点抽出を行うことができる。
【００１７】
また、本発明の自然音声の節点抽出装置では、前記自然音声についての言語情報には、疑問文であるか否かについての情報、及び、アクセント位置を含むか否かを示すアクセント位置時刻についての情報が含まれることが好ましい。この場合、前記節点抽出部は、前記自然音声についての言語情報に、疑問文であることを示す情報が含まれている場合には、前記区分された基本周波数パターンの終了点の直前の周波数最低点を節点として抽出すること、前記自然音声についての言語情報に、アクセント位置を含むことを示すアクセント時刻の情報が含まれている場合には、前記１次微分曲線のゼロ交差点以降の２次微分曲線の最高点及び最低点を夫々節点として抽出することができる。この場合、アクセント位置等の言語情報を用いて、基本周波数パターン曲線の形状を十分に考慮できるので、節点抽出が基本周波数パターン曲線の形状を特徴づける変化点等でより確実に行える。
【００１８】
前記節点抽出部は、前記基本周波数パターンの節点として抽出した節点のうち、２つの隣り合う節点の中間点を新たに節点として抽出することも本発明の好ましい態様である。この場合、節点に基づいてピッチパターンを生成することが確実になる。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態例に基づいて、本発明の自然音声の節点抽出装置について図面を参照して説明する。図１は、本発明の一実施形態例の自然音声の節点抽出装置のブロック図である。自然音声の節点抽出装置は、パターン抽出部１、パターン区分部３、入力部２、無声制御部４、微分演算部５、節点抽出部６、及び、節点情報出力部７で構成される。
【００２０】
パターン抽出部１は、入力される自然音声１０２に基づいて、基本周波数パターンを抽出し、パターン区分部３に入力する。基本周波数パターンは、短い時間間隔の抽出時点で、基本周波数を抽出した複数のデータ点である。データ点は、抽出時刻及び基本周波数で構成される。
【００２１】
入力部２は、入力される言語情報１０１をパターン区分部３に入力する。言語情報１０１は、アクセント句の開始時刻と終了時刻、アクセント位置時刻、アクセント句に含まれる子音母音の開始時刻と終了時刻、及び、疑問文か平叙文かを示す文タイプ等から成る情報である。パターン区分部３は、言語情報１０１に基づいて、基本周波数パターンをアクセント句ごとに区切り、無声制御部４に入力する。
【００２２】
図２は、自然音声の「よろしいですか」に関する情報を示す。自然音声は、各時刻毎に発生された周波数が点としてプロットされる。図中の黒い影部分は、自然音声の周波数特性（スペクトル表示）を示す。同図（ａ）に示すように、自然音声の基本周波数は、２００Ｈｚから４００Ｈｚまでの黒い影部分の中に、白抜き線＊として示される。
【００２３】
無声制御部４は、言語情報１０１に基づいて、基本周波数パターン曲線に含まれる無声区間を調べる。基本周波数パターン曲線は、無声区間が存在すると、スプライン近似に必要な節点を抽出する際に誤りを起こし易いので、補間して滑らかなアクセント句パターン曲線として修正される。
【００２４】
図２（ｂ）に示すように、子音を含む無声区間（“ｓｈ”）がある場合には、近くの有声区間（“ｏ”又は“ｉ−”）から引き伸ばし、直線又は曲線で補間する。アクセント句の開始点又は終了点が無声である場合には、近くの有声区間の値から数Ｈｚ小さい値を開始点又は終了点として補間する。無声制御部４は、アクセント句パターン曲線を白丸で示される各節点（Ｂ1、Ｐ1、Ｅ1、Ｅ2）を通るように連続的で滑らかにして、節点抽出部６に入力する。
【００２５】
図３は、図１の自然音声の節点抽出装置が行う節点抽出方法のフローチャートである。微分演算部５は、アクセント句パターン曲線の１次微分曲線及び２次微分曲線を求めて、節点抽出部６に入力する。節点抽出部６は、１次微分曲線、２次微分曲線、及び、言語情報１０１に基づいて、節点抽出を行う。
【００２６】
図４（ａ）、（ｂ）、及び、（ｃ）は、平叙文のアクセント句パターン曲線、その１次微分曲線、及び、２次微分曲線を夫々示す。アクセント句パターン曲線は、アクセント句パターンの開始点Ｂ1、及び、アクセント句パターンの終了点Ｅ1を有する。１次微分曲線は、符号が正から負に変わるゼロ交差点Ｐ1を有する。２次微分曲線は、ゼロ交差点Ｐ1以前の最高点Ａ1とゼロ交差点Ｐ1以後の最高点Ｃ2、及び、ゼロ交差点Ｐ1以前の最低点Ａ2とゼロ交差点Ｐ1以後の最低点Ｃ1を有する。
【００２７】
アクセント句パターン曲線の開始点であるデータ点Ｂ1を節点Ｂ1として抽出し、アクセント句パターン曲線の終了点であるデータ点Ｅ1を節点Ｅ1として抽出する（ステップＳ１１）。アクセント句パターン曲線を一階微分し、１次微分曲線を求める（ステップＳ１２）。
【００２８】
１次微分曲線の符号が正から負に変わるゼロ交差点Ｐ１を求め、ゼロ交差点Ｐ1に対応するアクセント句パターン曲線上のデータ点Ｐ1である節点Ｐ1を抽出する。ゼロ交差点が複数ある場合には、アクセント句パターン曲線の最高周波数点に最も近い交差点をゼロ交差点Ｐ１とする（ステップＳ１３）。言語情報１０１の文タイプが疑問文でなければ（ステップＳ１４）、ステップＳ１６に進み次の処理を実行する。
【００２９】
図５（ａ）、（ｂ）、及び、（ｃ）は、疑問文のアクセント句パターン曲線、その１次微分曲線、及び、２次微分曲線を夫々示す。アクセント句パターン曲線は、アクセント句パターンの開始点Ｂ1、周波数最低点Ｅ1、及び、アクセント句パターンの終了点Ｅ2を有する。１次微分曲線は、ゼロ交差点Ｐ1を有する。２次微分曲線は、ゼロ交差点Ｐ1以前の最高点Ａ1とゼロ交差点Ｐ1以後の最高点Ｃ2、及び、ゼロ交差点Ｐ1以後の最低点Ｃ1を有する。
【００３０】
ステップＳ１４で疑問文であれば、アクセント句パターン曲線の周波数最低点であるデータ点Ｅ1を節点Ｅ1として抽出し、アクセント句パターン曲線の終了点であるデータ点Ｅ2を節点Ｅ2として抽出する（ステップＳ１５）。また、１次微分曲線の符号が負から正に変わるゼロ交差点Ｅ1を調べ、１次微分曲線のゼロ交差点Ｅ1に対応するアクセント句パターン曲線上のデータ点Ｅ1を周波数最低点Ｅ1としてもよい。
【００３１】
図４（ｃ）に示すように、アクセント句パターン曲線を二階微分し、２次微分曲線を求める（ステップＳ１６）。アクセント句パターン曲線の節点Ｂ1から節点Ｐ1までの区間にある２次微分曲線の頂点を調べ、ゼロ交差点Ｐ1以前の最高点Ａ1に対応するアクセント句パターン曲線上のデータ点Ａ1である節点Ａ1を抽出し、節点Ａ1から節点Ｐ1までの区間で、ゼロ交差点Ｐ1以前の最低点Ａ2に対応するアクセント句パターン曲線上のデータ点Ａ2である節点Ａ2を抽出する（ステップＳ１７）。
【００３２】
次に、言語情報１０１のアクセント位置時刻を調べ、アクセント位置を含まなければ（ステップＳ１８）、ステップＳ２０に進み次の処理を実行する。アクセント位置は、アクセントのある位置を表わすものである。例えば、「アンケート」は、「ア」の次の音で下がるので、「ア」にアクセントがあり、「ア」の音の終了位置がアクセント位置である。
【００３３】
アクセント位置を含めば、アクセント句パターン曲線の節点Ｐ1から節点Ｅ１までの区間にある２次微分曲線の頂点を調べ、ゼロ交差点Ｐ1以後の最高点Ｃ2に対応するアクセント句パターン曲線上のデータ点Ｃ2である節点Ｃ2を抽出し、節点Ｐ1から節点Ｃ2までの区間で、ゼロ交差点Ｐ1以後の最低点Ｃ1に対応するアクセント句パターン曲線上のデータ点Ｃ1である節点Ｃ1を抽出する（ステップＳ１９）。
【００３４】
ただし、ステップＳ１７又はＳ１９において、指定区間で２次微分曲線の最高点又は最低点が無い場合には、アクセント句パターン曲線上の節点を抽出しない。図５（ｃ）には２次微分曲線のゼロ交差点Ｐ1以前の最低点Ａ2が無く、アクセント句パターン曲線の節点Ａ2を抽出しない例が示されている。
【００３５】
また、指定された区間に対する２次微分曲線の頂点を求める際に、更に三次微分曲線を求め、三次微分曲線が正又は負に符号が変わるゼロ交差点を調べ、三次微分曲線のゼロ交差点に対応する２次微分曲線の頂点を求めてもよい。
【００３６】
アクセント句パターン曲線上で抽出された節点Ｂ1、Ａ1、Ａ2、Ｐ1、Ｃ1、Ｃ2、及び、Ｅ1だけでは、ピッチパターンを生成する際に不十分な場合、アクセント句パターン曲線上で、先に求められた２つの隣り合う節点の中間点を新たに節点として抽出してもよい。最終的な節点を節点情報出力部７に入力して、処理を終了する（ステップＳ２０）。
【００３７】
節点情報出力部７は、節点抽出部６からの最終的な節点を節点１０３として外部に出力する。また、上記のステップＳ２０に相当する中間点を追加し最終的な節点を求める処理を、節点情報出力部７が実行してもよい。
【００３８】
上記実施形態例によれば、自然音声をアクセント句で区切って基本周波数を抽出した基本周波数パターン曲線、その１次微分曲線及び２次微分曲線に基づいて節点を抽出することにより、基本周波数パターン曲線の形状を特徴づける変化点等を節点として抽出し、この節点は発話速度とは無関係に抽出されるので、安定して効率のよい節点抽出を行うことができる。
【００３９】
音声合成装置は、節点に基づいてピッチパターンを生成し、音声合成の規則（規則合成方式）の１つとして利用し、別に入力される発音記号又は文字列に基づいて音声を合成する。ピッチパターンは、アクセント及びイントネーションと最も密接に関連し、自然で聞きやすい音調を与えるだけでなく、単語や句のまとまりを示し、文として理解しやすくする。音声合成装置は、生成されるピッチパターンが実際の基本周波数パターンを忠実に再現すれば、自然で聞きやすい音声を合成できる。
【００４０】
本発明の節点抽出装置では、基本周波数パターン曲線の形状を特徴づける変化点等を節点として抽出することにより、生成されるピッチパターンが実際の基本周波数パターンを忠実に再現できるので、音声合成装置に限らず規則合成方式を採用する装置には好適に利用される。
【００４１】
以上、本発明をその好適な実施形態例に基づいて説明したが、本発明の節点抽出方法は、上記実施形態例の構成にのみ限定されるものでなく、上記実施形態例の構成から種々の修正及び変更を施した自然音声の節点抽出装置も、本発明の範囲に含まれる。
【００４２】
【発明の効果】
以上説明したように、本発明の自然音声の節点抽出装置では、自然音声をアクセント句で区切って基本周波数を抽出した基本周波数パターン曲線、その１次微分曲線及び２次微分曲線に基づいて節点を抽出することにより、基本周波数パターン曲線の形状を特徴づける変化点等を節点として抽出し、この節点は発話速度とは無関係に抽出されるので、安定して効率のよい節点抽出を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態例の自然音声の節点抽出装置のブロック図である。
【図２】自然音声の「よろしいですか」に関する情報を示す。
【図３】図１の自然音声の節点抽出装置が行う節点抽出方法のフローチャートである。
【図４】同図（ａ）、（ｂ）、及び、（ｃ）は、平叙文のアクセント句パターン曲線、その１次微分曲線、及び、２次微分曲線を夫々示す。
【図５】同図（ａ）、（ｂ）、及び、（ｃ）は、疑問文のアクセント句パターン曲線、その１次微分曲線、及び、２次微分曲線を夫々示す。
【図６】第１の節点選択法のフローチャートである。
【図７】第２の節点選択法のフローチャートである。
【符号の説明】
１  パターン抽出部
２  入力部
３  パターン区分部
４  無声制御部
５  微分演算部
６  節点抽出部
７  節点情報出力部
１０１  言語情報
１０２  自然音声
１０３  節点
【図１】
0004639532.tif 000002
【図２】
0004639532.tif 000003
【図３】
0004639532.tif 000004
【図４】
0004639532.tif 000005
【図５】
0004639532.tif 000006
【図６】
0004639532.tif 000007
【図７】
0004639532.tif 000008