(57)【特許請求の範囲】
【請求項１】
入力された文字列情報を解析手段で解析し、この解析結果に基づいて音声合成手段によって音声を合成して出力する音声合成装置において、
再発声を促すための指示を入力する指示入力手段と、
上記指示入力手段からの指示を受けて、上記解析手段による解析結果に基づいて、上記文字列情報中における再発声の開始位置を特定する位置特定手段と、
上記音声合成手段に対して、上記特定された開始位置からの音声合成を指示する制御手段を備えて、
上記解析結果は文節間結合度を含み、
上記位置特定手段は、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置より前の文節から、モーラ数と上記文節間結合度とに基づいて上記開始位置となる文節を特定するようになっている
ことを特徴とする音声合成装置。
【請求項２】
入力された文字列情報を解析手段で解析し、この解析結果に基づいて音声合成手段によって音声を合成して出力する音声合成装置において、
再発声を促すための指示を入力する指示入力手段と、
上記指示入力手段からの指示を受けて、上記解析手段による解析結果に基づいて、上記文字列情報中における再発声の開始位置を特定する位置特定手段と、
上記音声合成手段に対して、上記特定された開始位置からの音声合成を指示する制御手段
を備えて、
上記解析結果は尤度を含み、
上記位置特定手段は、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置以前の文節に関して、各解析結果の候補を入れ換えながら尤度の合計値を算出し、得られた尤度の合計値に基づいて上記再発声の開始位置を特定するようになっている
ことを特徴とする音声合成装置。
【請求項３】
請求項１に記載の音声合成装置において、
上記解析結果は尤度を含むと共に、
上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置以前の文節に関して、各解析結果の候補を入れ換えながら尤度の合計値を算出し、得られた尤度の合計値に基づいて再発声を行う際の解析結果を選択する結果選択手段を備えた
ことを特徴とする音声合成装置。
【請求項４】
請求項２に記載の音声合成装置において、
上記解析結果は、上記尤度に加えて、音韻明瞭度,単語出現確率および単語重要度の少なくとも一つを含み、
上記位置特定手段は、上記解析結果の尤度に加えて上記音韻明瞭度,単語出現確率および単語重要度の少なくとも一つを用いて選出した上記再発声の開始位置候補に基づいて、上記再発声の開始位置を特定するようになっている
ことを特徴とする音声合成装置。
【請求項５】
請求項１乃至請求項４の何れか一つに記載の音声合成装置において、
上記音声合成手段は、上記解析手段による解析結果に基づいて音声合成情報列を生成する音声合成情報生成手段を有して、上記音声合成情報列に基づいて音声を合成するようになっており、
上記制御手段の指示に従って、上記音声合成情報生成手段によって生成された音声合成情報列のうち、上記再発声の開始位置以降における所定の音声合成情報列を他の音声合成情報列に変換する音声合成情報変換手段を備えた
ことを特徴とする音声合成装置。
【請求項６】
請求項ｌ乃至請求項４の何れか一つに記載の音声合成装置において、
上記解析結果は読み系列情報を含むと共に、
文字とこの文字に対応した対応文とを記憶した文字文記憶手段と、
上記制御手段の指示に従って、上記解析手段による解析結果のうち上記再発声の開始位置以降における所定の解析結果の読み系列を、上記文字文記憶手段に記憶された対応文の解析結果列に変換する文字文変換手段
を備えたことを特徴とする音声合成装置。
【請求項７】
請求項１乃至請求項６の何れか一つに記載の音声合成装置において、
上記指示入力手段は、音声入力された指示を認識する音声認識手段で構成されていることを特徴とする音声合成装置。
【請求項８】
請求項７に記載の音声合成装置において、
再発声を促す語彙を記憶した音声認識辞書と、
単語と上記再発声を促す語彙との関連性の有無を記憶した解析辞書
を備えて、
上記音声認識手段は、上記音声認識辞書を用いて再発声を促す語彙を認識し、
上記解析手段は、上記解析辞書を用いて、上記再発声を促す語彙との関連性の有無を表わす関連情報を含む上記解析結果を生成し、
上記位置特定手段は、上記解析手段からの関連情報に基づいて上記再発声の開始位置を特定する
ようになっていることを特徴とする音声合成装置。
【請求項９】
入力された文字列情報を解析し、この解析結果に基づいて音声を合成して出力する音声合成方法において、
再発声を促すための指示を入力するステップと、
上記入力された指示を受けて、上記入力された文字列情報の解析結果に基づいて、上記文字列情報中における再発声の開始位置を特定するステップと、
上記特定された開始位置から音声合成を行うステップ
を備えて、
上記解析結果は文節間結合度を含み、
上記開始位置を特定するステップでは、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置より前の文節から、モーラ数と上記文節間結合度とに基づいて上記開始位置となる文節を特定する
ことを特徴とする音声合成方法。
【請求項１０】
請求項１乃至請求項８の何れか一つに記載の音声合成装置を備えたことを特徴とする携帯端末器。
【請求項１１】
コンピュータを、
入力された文字列情報を解析する解析手段と、
上記解析手段による文節間結合度を含む解析結果に基づいて音声を合成する音声合成手段と、
再発声を促すための指示を入力する指示入力手段と、
上記指示入力手段からの指示を受けて、上記解析手段による解析結果に基づいて、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置より前の文節から、モーラ数と上記文節間結合度とに基づいて上記文字列情報中における再発声の開始位置となる文節を特定する位置特定手段と、
上記音声合成手段に対して、上記特定された開始位置からの音声合成を指示する制御手段
として機能させる音声合成処理プログラムが記録されたことを特徴とするコンピュータ読出し可能なプログラム記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、文字情報から音声を合成する音声合成装置および音声合成方法、携帯端末器、並びに、プログラム記録媒体に関する。
【０００２】
【従来の技術】
従来、日本語解析時における解析誤りに起因する日本語文認識誤り等に対処する装置として、特開平４‐１６０６３０号公報に開示されているような規則音声合成装置がある。この規則音声合成装置においては、入力文字列に関する複数の日本語解析結果を確定順位と共に読上げ文バッファに保持しておき、これらの複数の日本語解析結果情報を利用するようにしている。この規則音声合成装置によれば、ある確定順位の日本語解析結果に基づく合成音声中に認識誤り(入力文字列の読み誤り)があるため、ユーザーが「違う」等と発声した場合に、確定順位が１つ低い日本語解析結果に基づいて合成音を生成することができ、入力文字列の読み誤り箇所を別の読み方で合成することができる。こうすることによって、上記読み誤りがあった場合に、繁雑な手間や作業を要せずに対話的に訂正作業ができるのである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の規則音声合成装置においては、以下のような問題がある。すなわち、上記読上げ文バッファに保持されている日本語解析結果の単位で読み誤りを訂正するようにしている。したがって、上記入力文字列でなる入力文(読上げ文)の読み誤り箇所を特定して、その箇所から読み直して読上げ文の途中から再発声させることはできないのである。そのために、長文の読上げ文における最後の個所で再発声を要求した場合でも、読上げ文の最初から発声し直すことになり、目的の合成音声が得られるまでに時間が掛るという問題がある。
【０００４】
また、上記規則音声合成装置においては、入力文字列(読上げ文)の読み誤りには対処できるものの、ユーザが聞き取れなかった場合の聞き直しには、対処できないようになっている。特に、ユーザは文の後半のみが聞き取れなかった場合には、文の先頭から聞き直したいのではなく、聞き取れなかた後半の箇所のみを聞き直したいはずである。その場合に、読上げ文中の特定の位置から後のみを再発声させることは全くできないという問題がある。
【０００５】
そこで、この発明の目的は、音声出力文中の特定位置から再発声を行うことができる音声合成装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、第１の発明は、入力された文字列情報を解析手段で解析し,この解析結果に基づいて音声合成手段によって音声を合成して出力する音声合成装置において、再発声を促すための指示を入力する指示入力手段と、上記指示入力手段からの指示を受けて,上記解析手段による解析結果に基づいて上記文字列情報中における再発声の開始位置を特定する位置特定手段と、上記音声合成手段に対して上記特定された開始位置からの音声合成を指示する制御手段を備えて、上記解析結果は文節間結合度を含み、上記位置特定手段は、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置より前の文節から、モーラ数と上記文節間結合度とに基づいて上記開始位置となる文節を特定するようになっていることを特徴としている。
【０００７】
上記構成によれば、合成音声での再発声を促すための指示が指示入力手段から入力されると、位置特定手段によって、解析手段による解析結果に基づいて再発声の開始位置が特定される。したがって、ユーザは、出力合成音声が聞き取れない場合には、その時点で指示入力手段から指示を行うだけで、出力合成音声文中の特定位置から再発声を聞くことができ、長文の後半のみが聞き取れなかった場合でも少ない時間で聞き直しができる。
【０００８】
さらに、再発声の開始位置を特定する指標としてモーラ数が用いられて、指示を受けた時点に近過ぎず且つ遠過ぎない文節が再発声の開始位置として選ばれる。さらに、再発声の開始位置を特定する指標として文節間結合度が用いられて、言語的に結合度合が弱く区切れ易い適切な文節が再発声の開始位置として選ばれる。
【０００９】
また、第２の発明は、入力された文字列情報を解析手段で解析し,この解析結果に基づいて音声合成手段によって音声を合成して出力する音声合成装置において、再発声を促すための指示を入力する指示入力手段と、上記指示入力手段からの指示を受けて,上記解析手段による解析結果に基づいて上記文字列情報中における再発声の開始位置を特定する位置特定手段と、上記音声合成手段に対して上記特定された開始位置からの音声合成を指示する制御手段を備えて、上記解析結果は尤度を含み、上記位置特定手段は、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置以前の文節に関して、各解析結果の候補を入れ換えながら尤度の合計値を算出し、得られた尤度の合計値に基づいて上記再発声の開始位置を特定するようになっていることを特徴としている。
【００１０】
上記構成によれば、各解析結果の候補を入れ換えながら算出された尤度の合計値に基づいて再発声の開始位置が特定される。したがって、入力された文字列情報「市場開放によってもたらされる」に基づいて合成音声「しじょーかいほうによっても、たらされる」が発声された場合に、上記尤度の合計値を次に高くする第２候補「よって」が選択されて、再発声の開始位置であるとして特定される。その結果、「よって、もたらされる」の合成音声が再発声される。
【００１１】
また、上記第１の発明の音声合成装置は、上記解析結果を,尤度を含むように成すと共に、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置以前の文節に関して,各解析結果の候補を入れ換えながら尤度の合計値を算出し,得られた尤度の合計値に基づいて再発声を行う際の解析結果を選択する結果選択手段を備えることが望ましい。
【００１２】
上記構成によれば、各解析結果の候補を入れ換えながら算出された尤度の合計値に基づいて再発声を行う際の解析結果が選択される。したがって、入力された文字列情報「市場開放によってもたらされる」に基づいて合成音声「いちば」が発声された場合に、発声の異なる第２候補「しじょー」が選択されて、「しじょーかいほうによってもたらされる」の合成音声が再発声される。
【００１３】
また、上記第２の発明の音声合成装置は、上記解析結果を,上記尤度に加えて,音韻明瞭度・単語出現確率および単語重要度の少なくとも一つを含むように成し、上記位置特定手段を,上記解析結果の尤度に加えて上記音韻明瞭度・単語出現確率及び単語重要度の少なくとも一つを用いて選出した上記再発声の開始位置候補に基づいて,上記再発声の開始位置を特定するように成すことが望ましい。
【００１４】
上記構成によれば、解析結果尤度に基づいて上記利用者による再発声指示の意図「読み誤り」が反映された位置が再発声の開始位置候補として選出される。さらに、音韻明瞭度または単語出現確率に基づいて上記意図「聞き取れない」が反映された位置が再発声の開始位置候補として選出される。あるいは、単語重要度に基づいて上記意図「重要個所の確認」が反映された位置が再発声の開始位置候補として選出される。
【００１５】
また、この発明の音声合成装置は、上記音声合成手段を,上記解析手段による解析結果に基づいて音声合成情報列を生成する音声合成情報生成手段を有して,上記音声合成情報列に基づいて音声を合成するように成すと共に、上記制御手段の指示に従って,上記音声合成情報生成手段によって生成された音声合成情報列のうち上記再発声の開始位置以降における所定の音声合成情報列を他の音声合成情報列に変換する音声合成情報変換手段を備えることが望ましい。
【００１６】
上記構成によれば、音声合成情報変換手段によって、上記再発声の開始位置以降における所定の音声合成情報列が他の音声合成情報列に変換される。したがって、聞き取れなかった個所の発声が、「発声速度を少し遅め」に、あるいは「発声ピッチを少し高め」に、あるいは「発声パワーを少し大きめ」に、あるいは「音韻長を少し長め」にして再発声を行うことが可能になる。
【００１７】
また、この発明の音声合成装置は、上記解析結果は読み系列情報を含むと共に、文字とこの文字に対応した対応文とを記憶した文字文記憶手段と、上記制御手段の指示に従って,上記解析手段による解析結果のうち上記再発声の開始位置以降における所定の解析結果の読み系列を上記文字文記憶手段に記憶された対応文の解析結果列に変換する文字文変換手段を備えることが望ましい。
【００１８】
上記構成によれば、文字文記憶手段に、文字「す」,「ず」及び「き」とこの文字に対応した対応文「すずめのす」,「すずめのすに濁点」および「切手のき」とを記憶しておけば、文字文変換手段によって、上記再発声の開始位置以降における所定の文「鈴木」の読み系列「すずき」が、対応文の列「すずめのす、すずめのすに濁点、切手のき」に変換されて再発声される。
【００１９】
また、この発明の音声合成装置は、上記指示入力手段を、音声入力された指示を認識する音声認識手段で構成することが望ましい。
【００２０】
上記構成によれば、ユーザの再発声要求意図が、ユーザの音声によって明示される。
【００２１】
また、この発明の音声合成装置は、再発声を促す語彙を記憶した音声認識辞書と、単語と上記再発声を促す語彙との関連性の有無を記憶した解析辞書を備えて、上記音声認識手段は,上記音声認識辞書を用いて再発声を促す語彙を認識し、上記解析手段は,上記解析辞書を用いて上記再発声を促す語彙との関連性の有無を表わす関連情報を含む上記解析結果を生成し、上記位置特定手段は,上記解析手段からの関連情報に基づいて上記再発声の開始位置を特定するようになっていることが望ましい。
【００２２】
上記構成によれば、上記音声認識辞書に「誰」,「いつ」,「どこで」等の再発声を促す語彙を登録しておくことによって、ユーザが知りたい情報が何かを問いかけるこれらの語彙が音声認識された場合には、これらの語彙との関連性が高い「鈴木さん」,「昨日」,「会社で」等の人名や時や場所を表す単語から再発声が行われる。
【００２３】
また、第３の発明は、入力された文字列情報を解析し,この解析結果に基づいて音声を合成して出力する音声合成方法において、再発声を促すための指示を入力するステップと、上記入力された指示を受けて,上記入力された文字列情報の解析結果に基づいて上記文字列情報中における再発声の開始位置を特定するステップと、上記特定された開始位置から音声合成を行うステップを備えて、上記解析結果は文節間結合度を含み、上記開始位置を特定するステップでは、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置より前の文節から、モーラ数と上記文節間結合度とに基づいて上記開始位置となる文節を特定することを特徴としている。
【００２４】
上記構成によれば、合成音声による再発声を促すための指示が入力されると、上記入力された文字列情報の解析結果に基づいて、合成音声による再発声の開始位置が特定される。したがって、ユーザは、出力合成音声が聞き取れない場合には、その時点で指示を行うだけで、出力合成音声文中の特定位置から再発声を聞くことができ、長文の後半のみが聞き取れなかった場合でも少ない時間で聞き直しができる。
【００２５】
さらに、再発声の開始位置を特定する指標としてモーラ数が用いられて、指示を受けた時点に近過ぎず且つ遠過ぎない文節が再発声の開始位置として選ばれる。さらに、再発声の開始位置を特定する指標として文節間結合度が用いられて、言語的に結合度合が弱く区切れ易い適切な文節が再発声の開始位置として選ばれる。
【００２６】
また、第４の発明の携帯端末器は、この発明の音声合成装置を備えたことを特徴としている。
【００２７】
上記構成によれば、文字情報の少ない携帯端末器によって、比較的長い文面の電子メールの内容を合成音声出力によって知る場合に、再発声個所や次候補の選択が自動的に行われるため、非常に簡単な操作で的確な再発声や発声変更が行われる。
【００２８】
また、第５の発明のプログラム記録媒体は、コンピュータを、入力された文字列情報を解析する解析手段と、上記解析手段による文節間結合度を含む解析結果に基づいて音声を合成する音声合成手段と、再発声を促すための指示を入力する指示入力手段と、上記指示入力手段からの指示を受けて,解析手段による解析結果に基づいて,上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置より前の文節から,モーラ数と上記文節間結合度とに基づいて上記文字列情報中における再発声の開始位置となる文節を特定する位置特定手段と、上記音声合成手段に対して上記特定された開始位置からの音声合成を指示する制御手段として機能させる音声合成処理プログラムが記録されていることを特徴としている。
【００２９】
上記構成によれば、上記第１の発明の場合と同様に、ユーザは、出力合成音声が聞き取れない場合には、その時点で指示を行うだけで、出力合成音声文中の特定位置から再発声を聞くことができ、長文の後半のみが聞き取れなかった場合でも少ない時間で聞き直しができる。
【００３０】
さらに、再発声の開始位置を特定する指標としてモーラ数が用いられて、指示を受けた時点に近過ぎず且つ遠過ぎない文節が再発声の開始位置として選ばれる。さらに、再発声の開始位置を特定する指標として文節間結合度が用いられて、言語的に結合度合が弱く区切れ易い適切な文節が再発声の開始位置として選ばれる。
【００３１】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。
＜第１実施の形態＞
図１は、本実施の形態の音声合成装置における構成を示すブロック図である。テキスト解析部１は、入力されたテキストの言語を解析し、得られたテキスト解析結果を解析記憶部３に一時的に記憶する。解析辞書メモリ２は、テキスト解析部１がテキスト解析を行う際に必要な解析辞書を含む言語データ等を格納している。上記音声合成情報生成手段としての音韻処理部４は、解析記憶部３に記憶されているテキスト解析結果に基づいて、読み系列情報(音韻記号列),アクセント情報および文節区切り情報等の音声合成情報を生成する。そうすると、音声合成部５は、音韻処理部４によって生成された音声合成情報列に基づいて、音声を合成してスピーカ(図示せず)から出力する。
【００３２】
指示入力部６は、音声合成部５からの出力合成音声に対してユーザが再発声を促すための指示を入力する。この指示入力部６は、ボタンあるいはキーボード等で構成される。位置特定部７は、解析記憶部３に記憶されているテキスト解析結果に基づいて、上記テキスト中における再発声を開始する位置を特定する。制御部８は、指示入力部６からの指示を受けて位置特定部７に再発声開始位置を特定させ、特定された上記テキスト中の位置から以降のテキスト解析結果の読み出しを音韻処理部４に指示して再発声を開始させる。
【００３３】
図２は、上記構成を有する音声合成装置の各部によって実行される音声合成処理動作のフローチャートである。以下、図２のフローチャートに従って、テキスト解析部１に「鈴木さんから商談の件でメールが来ています」という漢字仮名混じり文が入力された場合を例に上げて、本音声合成装置の動作を説明する。
【００３４】
ここで、上記テキスト解析部１に対するテキストの入力は、キーボード,ペンあるいは音声認識装置等の文入力手段からの入力でもよいし、メールやＷＷＷ等のネットワークを経由した入力でも構わない。こうして、テキスト解析部１にテキストが入力されると音声合成処理動作がスタートする。
【００３５】
ステップＳ1で、上記テキスト解析部１によってテキスト解析が行われる。すなわち、入力文が解析辞書メモリ２に格納された解析辞書を参照して形態素に分割され、読みや品詞等の情報が付与される。上記入力文の場合は、「鈴木(すずき：固有名詞)」,「さん(さん：接尾語)」,「から(から：助詞)」,「商談(しょーだん：名詞)」,「の(の：助詞)」,「件(けん：名詞)」,「で(で：助詞)」,「メール(めーる：名詞)」,「が(が：助詞)」,「来(き：動詞)」,「て(て：助詞)」,「い((い：動詞)」,「ます（ます：助動詞)」の形態素に分割される。
【００３６】
ステップＳ2で、上記テキスト解析部１によってテキストの解析結果が解析記憶部３に記憶される。図３に解析記憶部３における格納状態の概念図を示す。図３において、解析結果尤度,アクセント情報および文節間結合度の欄には、後述するような数値情報が格納される。尚、上記ステップＳ1におけるテキスト解析処理においては、解析候補が複数得られる。そして、夫々の解析候補に尤度を付けた際に、尤度順位が最も高い解析候補をテキスト解析結果として解析記憶部３に記憶するのである。その場合、夫々の解析候補の尤度も解析記憶部３に記憶される。
【００３７】
さらに、上記各解析結果の連接から文節が生成され、文節の情報が解析記憶部３に記憶される。それと共に、先行文節と後続文節との結合性の度合を表わす文節間結合度が計算され、文節毎のアクセント情報がアクセント規則等に基づいて計算される。そして、得られた文節間結合度およびアクセント情報も合わせて記憶される。
【００３８】
上記文節間結合度は韻律を制御するために使用されるものであり、文節間結合度によってポーズの長さやフレーズ指令の大きさが決定される。すなわち、文節間結合度が大きければ両文節の結合は弱いために明確なポーズが入れられて、夫々の文節が独立に句を構成するのである。尚、上記文節間結合度の計算は、一般的には先行文節と後続文節との品詞パターン毎に設定された結合値が記載されたテーブル(図示せず)を用いて行われる。
【００３９】
ステップＳ3で、上記音韻処理部４によって、上記解析記憶部３に格納されたテキスト解析結果に基づいて、解析結果尤度が最も高い単語の並びに対して音韻処理が行われる。ステップＳ4で、音声合成部５によって、上記ステップＳ3における音韻処理によって得られた音声合成情報列に基づいて音声が合成される。そして、合成音がスピーカ等から出力される。ステップＳ5で、上記スピーカから出力された音声に対して、ユーザから、聞き取り難い音声がある旨の指示が指示入力部６からあるか否かが判別される。その結果、あればステップＳ6に進み、無ければステップＳ8に進む。
【００４０】
ステップＳ6で、上記制御部８および音声合成部５によって、その時点で合成音声の出力が中断される。ステップＳ7で、制御部８および位置特定部７によって、解析記憶部３の内容が参照されて、再発声開始文節が決定される。そして、決定された再発声開始文節以降のテキスト解析結果の読み出しが音韻処理部４に指示される。そうした後に、上記ステップＳ3に戻って、再発声開始文節以降の文節に関して、音韻処理及び音声合成が再度行われる。そして、上記ステップＳ5において、ユーザからの指示がないと判別されると、ステップＳ8に進む。尚、上記再発声開始文節の決定方法については後に詳述する。
【００４１】
ステップＳ8で、上記テキスト解析部１に入力された次の文があるか否かが判別される。その結果、あれば上記ステップＳ1に戻って、次の文の処理に移行する。一方、無ければ音声合成処理動作を終了する。
【００４２】
以下、上述した音声合成処理動作における上記ステップＳ4以降の処理に付いて、上記入力文「鈴木さんから商談の件でメールが来ています」に従って更に詳細に説明する。上記ステップＳ4において、スピーカから「鈴木さんから商談の件でメールが来ています」と出力された際に、図４に示すように、ユーザが「商談」の単語が聞き取り難かったとする。そして、「メールが」近傍まで音声出力された時点で、ユーザが「再発声」の指示を行うと、一旦音声合成/出力が中断されて、どの文節から再発声を行うかを決定する処理に移行する。
【００４３】
再発声する文節位置を決める指標として、本実施の形態においては、その一例として、指示時点から先頭文節までのモーラ数と文節間結合度とを用いる。ここで、上記モーラ数を指標に入れる理由は、再発声開始文節の位置として指示時点に近過ぎず且つ遠過ぎない位置を選び易くするためである。再発声の指示時点に相当する文字から数えてモーラ数の少ない文節(すなわち接近している文節)から再発声を開始すると、本来聞き直したい箇所まで戻らない可能性がある。逆に、モーラ数が多すぎると、かなり遡った位置から再発声が開始されることになり、本来聞き直したい箇所まで到達するのに時間が掛り、再度聞き逃してしまう場合も発生する。そこで、図５に示すように、適切なモーラ数における評価関数値が最高の値になり、そのモーラ数から更にモーラ数が増えるに従って評価関数値が徐々に減るような評価関数ｆ(x)を定義するのである。
【００４４】
上の例文であれば、第４文節「メールが」の「が」の位置で再発声の指示が行われた場合、文節「メールが」までのモーラ数は４、文節「件で」までのモーラ数は７、文節「商談の」までのモーラ数は１２、文節「鈴木さんから」までのモーラ数は１９となる。そして、指示時点とのモーラ数差が「４」では少なすぎる一方、モーラ数差が「１９」では多すぎると見なし、「件で」や「商談の」のあたりが妥当であると判断されるのである。
【００４５】
また、上記文節間結合度を用いる理由は、適切な文節の区切れ目から再発声を開始させるためである。上述の例文であれば、文節間結合度Ｂは以下のような関係になる。尚、文節間結合度Ｂは、その値が大きいほど結合度合は弱い(すなわち区切れ易い)ことを表わす。また、Ｂ(ａ,ｂ)における「ａ」は文節番号であり、「ｂ」は候補番号である。
Ｂ(３,１)＞Ｂ(１,１)＞Ｂ(４,１)＞Ｂ(２,１)＞Ｂ(５,１)
【００４６】
すなわち、第３文節「件で」と第４文節「メールが」との間の文節の結合度が最も弱く、第５文節「来て」と第６文節「います」との間の文節の結合度が最も強い。そして、第２文節「商談の」‐第３文節「件で」(Ｂ(２,１))と、第１文節「鈴木さんから」−第２文節「商談の」(Ｂ(１,１))とを比較した場合、後者の方が結合度は弱いので、文節「件で」から再発声を開始するよりも、文節「商談の」から再発声を開始する方がよいということになる。
【００４７】
以上で述べたように、上記指示時点から文節先頭までのモーラ数と文節間結合度とに基づいて再発声する文節位置を決めることによって、上記指示時点に近過ぎず且つ遠過ぎない位置で、言語的にも適切な位置で発声を再開できる。したがって、本実施の形態においては、以下のように、上記指示時点から先頭文節までのモーラ数「ｘ」と文節間結合度「ｙ」とをパラメータとする関数ｇ(ｘ,ｙ)を定義し、各文節毎に関数値を求めて比較することによって、再発声を開始する文節を最適に決めることができるのである。
ｇ(ｘ,ｙ)＝α・ｆ(ｘ)＋β・ｙ
【００４８】
上述のように、本実施の形態においては、上記テキスト解析部１で得られたテキスト解析結果を記憶する解析記憶部３を設け、入力テキストの各文節毎に、構成単語,解析結果尤度,アクセント情報および文節間結合度を記憶しておく。そして、上記テキスト解析結果に基づいて出力された合成音声が聞き取り難い場合には、その時点で指示入力部６からその旨の指示がなされる。そうすると、制御部８の制御の下に、合成音声の出力が中断され、位置特定部７によって、上記指示時点から先頭文節までのモーラ数「ｘ」と文節間結合度「ｙ」とをパラメータとして定義された関数ｇ(ｘ,ｙ)に基づいて、合成音声の出力を再開始する文節の位置が決定される。そして、その文節位置から合成音声の出力を再開するようにしている。
【００４９】
したがって、ユーザは、出力合成音声が聞き取れない場合には、その時点で指示入力部６から指示を行うことによって、上記指示時点に近過ぎず且つ遠過ぎない位置で、言語的にも適切な位置から合成音声の出力を再開することができるのである。すなわち、テキスト解析部１に入力された漢字仮名混じり文「鈴木さんから商談の件でメールが来ています」に基づいて合成音声が出力された際に、ユーザが「商談」の単語が聞き取れなかったために「メールが」近傍で「再発声」の指示を行うと、位置特定部７によって第２文節「商談の」が再発声開始位置であると特定される。そして、「商談の件でメールが来ています」の合成音声が再発声されるのである。
【００５０】
すなわち、本実施の形態によれば、音声出力文中の特定位置から再発声を行うことができ、長文の後半のみが聞き取れなかった場合に少ない時間で聞き直しができるのである。
【００５１】
＜第２実施の形態＞
上記第１実施の形態によれば、テキスト中の特定位置から再発声を行うことができるのではあるが、テキスト中の特定位置から発声を変えて再発声を行うことはできない。本実施の形態は、このような場合に対処するものである。
【００５２】
図６は、本実施の形態の音声合成装置における構成を示すブロック図である。解析辞書メモリ１２,解析記憶部１３,音韻処理部１５,音声合成部１６および指示入力部１７は、上記第１実施の形態における解析辞書メモリ２,解析記憶部３,音韻処理部４,音声合成部５および指示入力部６と同じ構成を有して、同様に動作する。
【００５３】
テキスト解析部１１は、上記第１実施の形態で述べたようにテキスト解析処理の結果得られた複数の解析候補を、尤度順位の高い順に解析記憶部１３に記憶する。また、位置特定部１４は結果選択手段１８を有している。この結果選択手段１８は、解析記憶部１３に記憶されている複数の解析候補の中から、解析結果尤度の合計の高い順に一つの解析候補の組み合わせを選択して音韻処理部１５に送出する。
【００５４】
制御部１９は、上記指示入力部１７からの再発声指示を受けて、位置特定部１４に再発声開始位置の特定を指示する。位置特定部１４は、制御部１９からの指示を受けて、結果選択手段１８によって、解析記憶部１３に記憶されている複数の解析候補の中から、解析結果尤度の合計値が現在音声合成中の解析候補の組み合わせの次に大きな解析候補の組み合わせを選択し、この選択結果に基づいて再発声の開始位置を特定する。
【００５５】
図７は、上記構成を有する音声合成装置の各部によって実行される音声合成処理動作のフローチャートである。以下、図７に従って、音声合成装置の動作を説明する。
【００５６】
ステップＳ11およびステップＳ12で、上記第１実施の形態におけるステップＳ1およびステップＳ2と同様にして、テキスト解析およびテキスト解析結果の解析記憶部１３への記憶が行われる。但し、本実施の形態においては、図８に示すように、１つの単語に複数の解析候補が存在する場合には、各解析候補の尤度が大きい順に第１候補,第２候補,…の欄に格納するようにしている。
【００５７】
ステップＳ13で、上記制御部１９によって、現在選択されている解析候補の組み合わせに関する解析結果尤度の合計値の順位をカウントする変数ｉの値が「１」に初期化される。ステップＳ14で、指示入力部１７からの発声変更指示がない場合には、位置特定部１４の結果選択手段１８によって、解析結果尤度の合計値がｉ番目に大きい解析候補列が解析記憶部１３から選択される。そして、音韻処理部１５によって、上記選択された解析候補列に基づいて音韻処理が行われる。したがって、最初は、解析結果尤度が最も高い単語の並びに対して音韻処理が行われることになる。ステップＳ15で、音声合成部１６によって、上記ステップＳ14における音韻処理で得られた音声合成情報列に基づいて音声が合成されて、合成音がスピーカ等から出力される。ステップＳ16で、上記スピーカから出力された音声に対して、合成誤りがある旨の発声変更指示が指示入力部１７からあるか否かが判別される。その結果、あればステップＳ17に進み、無ければステップＳ22に進む。
【００５８】
ステップＳ17で、上記制御部１９及び音声合成部１６によって、その時点(ｊp：発声変更指示があった時点の文節番号)(１≦ｊp≦ｊn：ｊは文節番号,ｎは文節数)で合成音声の出力が中断される。ステップＳ18で、結果選択手段１８によって、解析記憶部１３に記憶されているｊ≦ｊpの全文節の結果候補を入れ換えながら、解析結果尤度Ｋの全文節に関する合計値ΣＫ(ｊ,ｐ(j))を「ｉ＋１」番目に大きくする(ｊa,ｐ(ｊa))(１≦ｊa≦ｊn)が求められる。但し、「ｊa」は、「ｉ＋１」番目に大きな解析結果尤度Ｋの合計値ΣＫが得られた際に交換された文節の番号であり、「ｐ(ｊa)」はその候補番号である。
【００５９】
ステップＳ19で、上記結果選択手段１８によって、上記ステップＳ18において得られた入れ換え解析候補の解析候補情報(ｊa,ｐ(ｊa))に基づいて、「ｊa」番目の文節における「ｐ(ｊa)」番目の解析候補(以下、解析候補(ｊa,ｐ(ｊa))と言う)と、「ｊa＋１」番目以降における直前の音声合成時に用いられた解析候補列「(ｊa＋１,ｐ(ｊa＋１))〜(ｊn,ｐ(ｊn))」とが選択されて、音韻処理部１５に送出される。ステップＳ20で、制御部１９によって、順位ｉの内容がインクリメントされる。ステップＳ21で、順位ｉが全解析候補の組み合わせ総数Ｎより大きいか否かが判別される。そして、「Ｎ」より大きければステップＳ22に進む。一方、「Ｎ」以下であれば上記ステップＳ14に戻る。以後、音韻処理部１５によって、直前の音声合成時に用いられた「ｊa」番目の文節以降の解析候補列中における「ｊa」番目の文節の解析候補が解析候補(ｊa,ｐ(ｊa))に置き換えらた解析候補列に基づいて合成音声が出力される。
【００６０】
こうして、上記ステップＳ16において発声変更指示がないと判別されるか、上記ステップＳ21において順位ｉが「Ｎ」より大きいと判別されるまで、上記ステップＳ17〜ステップＳ21,ステップＳ14〜ステップＳ16の処理が繰り返される。
【００６１】
ステップＳ22で、上記テキスト解析部１１に入力された次の文があるか否かが判別される。その結果、あれば上記ステップＳ11に戻って、次の文の処理に移行する。一方、無ければ音声合成処理動作を終了する。
【００６２】
以下、上述した音声合成処理動作における上記ステップＳ18以降の処理に付いて、入力文「市場開放によってもたらされる」に従って更に詳細に説明する。図８は、「市場開放によってもたらされる」と言うテキスト文に対する解析記憶部１３の格納状態を示す。単語「市場」に対して読みが「いちば」である解析候補と読みが「しじょー」である解析候補の２つの解析候補が存在する。また、文節連鎖「よってもたらされる」に対して、文節区切り位置の違いによって「よっても/たらされる」と「よって/もたらされる」との２つの解析候補列が存在する。
【００６３】
上記テキスト解析部１１によるテキスト解析の結果、第１文節の第１候補「いちば」の解析結果尤度Ｋ(１,１)と、第１文節の第２候補「しじょー」の解析結果尤度Ｋ(１,２)との間には、
Ｋ(１,１)＞Ｋ(１,２)
という関係が成立したものとする。これは、文字列「市場」は、「いちば」と読む可能性の方が高いと言うテキスト解析の誤解析の例である。
【００６４】
また、上記第３,第４文節の文節連鎖における第１候補「よっても/たらされる」の解析結果尤度Ｋ(３,１),Ｋ(４,１)と、第２候補「よって/もたらされる」の解析結果尤度Ｋ(３,２),Ｋ(４,２)との間には、
Ｋ(３,１)＋Ｋ(４,１)＞Ｋ(３,２)＋Ｋ(４,２)
という関係が成立したものとする。
【００６５】
今、図９に示すように、テキスト「市場開放によってもたらされる」が音声合成されて１回目の合成音声「いちばかいほうーによって」が出力された際に、「よって」という発声が行われている時点(ｊp＝３)で利用者が発声変更指示を入力した場合は、第１音節〜第３音節との解析結果候補が順次入れ換えられて解析結果尤度Ｋの合計値ΣＫ(ｊ,ｐ(j))が算出される。その場合、第１〜第３音節の解析結果尤度Ｋの合計値は、「Ｋ(１,１)＋Ｋ(２,１)＋Ｋ(３,１)」が１番大きく、次に「Ｋ(１,２)＋Ｋ(２,１)＋Ｋ(３,１)」が２番目に大きいので、「ｉ＋１」番目に大きな、すなわち２番目に大きな解析結果尤度Ｋの合計値ΣＫを呈する解析候補情報(１,２)が得られる。その結果、結果選択手段１８によって、第１文節における「２」番目の解析候補「市場(しじょー)」が選択され、直前の音声合成時に用いられた第２文節以降の解析候補列と共に音韻処理部１５に送出される。こうして、合成音声「しじょーかいほーによってもたらされる」が出力されるのである。
【００６６】
次に、２回目の音声出力時に「たらされる」という発声が行われている時点(ｊp＝４)で利用者が発声変更指示を入力した場合は、第１〜第４音節の解析結果尤度Ｋの合計値は、「Ｋ(１,２)＋Ｋ(２,１)＋Ｋ(３,１)＋Ｋ(４,１)」が２番目に大きく、「Ｋ(１,２)＋Ｋ(２,１)＋Ｋ(３,２)＋Ｋ(４,２)」が３番目に大きい(上述の「しじょー」の選択によって第１文節の解析候補はＫ(１,２)に固定される)。したがって、解析候補情報列(３,２),(４,２)が選択されて、合成音声「よって、もたらされる」が出力されるのである。
【００６７】
尚、上記発声変更指示を入力する時点が遅れた場合には、解析結果候補を入れ換える文節を誤る場合が生ずる。例えば、第１文節「いちば」の発声変更の指示を「たらされる」の発声が行われている時点で行ったために、第４文節「もたらされた」の発声変更が行われてしまうような場合である。このような場合でも、再度発声変更を指示することによって次候補の発声が行われるため、所望の合成音声が出力されるまで発声変更の指示を繰り返せばよい。
【００６８】
上述のように、本実施の形態においては、上記位置特定部１４に、解析記憶部１３に記憶されたテキスト解析結果を選択する結果選択手段１８を設けている。そして、上記テキスト解析結果に基づいて出力された合成音声が間違っている場合には、その時点で指示入力部１７から音声変更指示がなされる。そうすると、制御部１９の制御の下に、合成音声の出力が中断され、位置特定部１４の結果選択手段１８によって、発声変更指示があった位置の文節よりも前の全文節の結果候補を入れ換えながら、解析結果尤度Ｋの合計値ΣＫを次に大きくする入れ換え解析候補(ｊa,ｐ(ｊa))が求められ、解析候補列(ｊa,ｐ(ｊa))〜(ｊn,ｐ(ｊn))が選択される。そして、音韻処理部１５によって、解析候補列(ｊa,ｐ(ｊa))〜（ｊn,ｐ(ｊn))に基づいて再度合成音声が出力されるようにしている。
【００６９】
したがって、ユーザは、出力合成音声に間違いを見つけた場合には、その時点で指示入力部１７から発声変更指示を行うことによって、次候補の合成音声の出力を行うことができるのである。すなわち、テキスト解析部１１に入力された漢字仮名混じり文「市場開放によってもたらされる」に基づいて合成音声が出力された際に、ユーザが「よっても、たらされた」の発声を変更したい場合に発声変更の指示を行うと、結果選択手段１８によって第３,第４文節の第１候補「よっても」,「たらされた」が第２候補「よって」,「もたらされた」に入れ換えられる。そして、入れ換えが発声した文節以降の文節列「よって、もたらされる」の合成音声が再発声されるのである。
【００７０】
すなわち、本実施の形態によれば、音声出力文中の特定位置から発声を変えて再発声を行うことができ、長文の後半のみが間違っている場合に少ない時間で修正ができるのである。
【００７１】
尚、後述するように、音声認識部を併用することによって、指示入力部１７に「違う」と音声入力することによって次候補を発声させ、「もう一度」と音声入力することによって同じ発声を繰り返させることが可能となる。このように、利用者が指示を明示的に行うことによって、利用者の意図とは異なる合成音声が出力されないようにすることが可能になる。
【００７２】
＜第３実施の形態＞
上記第１実施の形態によれば、音声出力文中の特定位置から再発声を行うことができるのではあるが、再発声の際に最初と全く同じ合成音を出力するとやはり聞き取れない可能性がある。本実施の形態は、そのような場合に対処するものであって、再発声に際しては、最初聞き取り難かった部分の発声速度等の音声合成情報列を変えるものである。
【００７３】
図１０は、本実施の形態の音声合成装置び構成を示すブロック図である。テキスト解析部２１,解析辞書メモリ２２,解析記憶部２３,音韻処理部２４,音声合成部２５,指示入力部２６および位置特定部２７は、上記第１実施の形態におけるテキスト解析部１,解析辞書メモリ２,解析記憶部３,音韻処理部４,音声合成部５,指示入力部６および位置特定部７と同じ構成を有して、同様に動作する。
【００７４】
音声合成情報変換部２９は、上記音韻処理部２４で生成された音声合成情報列を制御部２８からの指示に従って他の音声合成情報列に変換する。こうして、利用者が聞き取り難かった個所の音声合成情報列を変えることによって、発声の性質が違う合成音を生成することができ、以前聞き取れなかった個所を聞き取り易くするのである。
【００７５】
ここで、聞き取り易い発声に変換する例としては、下記のような変換方法がある。
(１)  発声速度を少し遅めにする。
(２)  発声ピッチを少し高めにする。
(３)  発声パワーを少し大きめにする。
(４)  音韻長を少し長めにする。
【００７６】
例えば、パワーを変更する場合は次のようにする。すなわち、母音パワーに影響を与える要因としては、当該母音の種類,隣接音韻の種類,位置,ピッチ等があり、これらの値からパワーの値を推定できる。したがって、上記要因の値から推定されたパワーの値よりやや高めの数値を設定することによって、最初とは異なる合成音声を生成することができる。また、発声速度を変更する場合には、予め適切な速度の値が決められており、再発声時にはその適性値よりも所定値だけ遅くなるように設定することによって、最初とは異なる合成音声を生成するのである。
【００７７】
以上のように、本実施の形態によれば、上記音声合成情報における推定された値や予め設定されている値を少し変えることで、先の合成音声とは音声合成情報列が異なる合成音声を生成して出力することができる。したがって、再発声時における聞き取り易さの向上を図ることができるのである。
【００７８】
＜第４実施の形態＞
本実施の形態は、上記第３実施の形態の場合と同様に、再発声の際に最初と異なる合成音を出力するものであって、再発声に際しては、最初聞き取り難かった部分の音声を正確に伝達するものである。
【００７９】
図１１は、本実施の形態の音声合成装置び構成を示すブロック図である。テキスト解析部３１,解析辞書メモリ３２,解析記憶部３３,音韻処理部３４,音声合成部３５,指示入力部３６および位置特定部３７は、上記第１実施の形態におけるテキスト解析部１,解析辞書メモリ２,解析記憶部３,音韻処理部４,音声合成部５,指示入力部６および位置特定部７と同じ構成を有して、同様に動作する。
【００８０】
文字文記憶部３９は、１文字とそれに対応する文とを対にして記憶しているメモリであり、例えば和文通話に用いる文等を記憶する。尚、上記「和文通話」は、「あ」という文字に対して「朝日のあ」、「い」という文字に対して「いろはのい」のような文を対応させ、正確に音声を伝達する目的で使用されるものである。
【００８１】
文字文変換部４０は、制御部３８からの指示に従って、ユーザが聞き取り難かったと判断した個所(位置特定部３７で特定された再発声開始位置に基づいて制御部３８によって判断される)の解析結果における読み系列情報を、文字文記憶部３９に記憶されている対応する文に変換する。例えば、「すずき」という合成音声をユーザが聞き取り難かったと判断した場合は、「すずめのす、すずめのすに濁点、切手のき」という上記和文通話で用いる文に変換する。そして、この変換文のテキスト解析結果を生成して音韻処理部３４に送出するのである。
【００８２】
以後、上記音韻処理部３４によって、文字文変換部４０で生成されたテキスト解析結果に基づいて音声合成情報列を生成し、音声合成部３５によって、上記生成されたで音声合成情報列に基づいて合成音声が出力される。
【００８３】
以上のごとく、本実施の形態によれば、指示入力部３６からの指示に従って、例えば、合成音声「すずき」をユーザが聞き取り難かったと判断した場合は、制御部３８及び文字文変換部４０によって、読み系列情報「すずき」を上記和文通話で用いる文に変換し、この変換文のテキスト解析結果を生成するようにしている。したがって、読み系列情報「すずき」を再発声する際には、「すずめのす、すずめのすに濁点、切手のき」と再発声することができ、ユーザの聞き取り難い個所を更に明瞭にすることができるのである。
【００８４】
＜第５実施の形態＞
上記第１実施の形態においては、文節間結合度とモーラ数とに基づいて再発声の開始位置を特定している。また、第２実施の形態においては、解析結果尤度に基づいて再発声の開始位置を特定している。本実施の形態においては、ユーザの再発声要求意図を反映した位置を再発声開始位置として設定するものである。
【００８５】
図１２は、本実施の形態の音声合成装置び構成を示すブロック図である。テキスト解析部４１,解析辞書メモリ４２,解析記憶部４３,音韻処理部４５,音声合成部４６,指示入力部４７および音声合成情報変換部５１は、上記第３実施の形態におけるテキスト解析部２１,解析辞書メモリ２２,解析記憶部２３,音韻処理部２４,音声合成部２５,指示入力部２６および音声合成情報変換部２９と同じ構成を有して、同様に動作する。また、結果選択部４４は、上記第２実施の形態における結果選択手段１８と同じ構成を有して、同様に動作する。
【００８６】
位置特定部４８は、開始位置候補選出手段４９を有して、ユーザが再発声を要求した意図を反映させて再発声の開始位置を特定する。以下、位置特定部４８の機能について説明する。
【００８７】
上記テキスト解析部４１に対する入力テキストの何れの個所から再発声を行うかを決めるためには、(１)聞き直したい要因、(２)聞き直したい項目、(３)再発声する個所としての妥当性を考慮する必要がある。さらに、聞き直したい要因としては、(ａ)読み間違い、(ｂ)音韻が不明瞭、(ｃ)出現頻度が低い単語の存在等が上げられる。また、聞き直したい項目としては、５Ｗ１Ｈのような文の意味を決定付ける単語がある。また、再発声する個所としての妥当性の尺度としては、(Ａ)指示があった時点で音声出力されている文節と各文節の間のモーラ数、(Ｂ)文節間の結合度合の強さが上げられる。
【００８８】
上記位置特定部４８は、これらを総合的に判断して、再発声する文節の順序付けを行うのである。その場合の順序付けは、各文節毎に以下の関数値を求めることによって行う。
ｆ(ｐ1,ｐ2,ｐ3,ｐ4,ｐ5,ｐ6)
ここで、ｐ1：解析結果バラメータ
ｐ2：音韻明瞭性パラメータ
ｐ3：単語出現確率パラメータ
ｐ4：単語重要度パラメータ
ｐ5：文節間結合度パラメータ
ｐ6：モーラ数パラメータ
【００８９】
複数の解析結果が存在する場合、それらの解析結果の尤度が小さければ小さいほど解析を誤っている可能性が高いと言える。そこで、解析結果パラメータｐ1の一例として、上記解析結果尤度が第１位の候補と第２位の候補との解析結果尤度差の逆数が考えられる。
【００９０】
また、不明瞭な音韻ほど聞き取れない可能性が高い。そこで、関数ｆのパラメータとして音韻明瞭性パラメータｐ2を用いるのである。すなわち、各音韻毎に明瞭性の度合を予め数値化(明瞭度)しておくのである。その場合、明瞭性の低い音韻の明瞭度の値を大きくするようにしておく。したがって、無声摩擦音等は高い明瞭度が与えられることになる。
【００９１】
また、普段あまり使われない単語ほど聞き取れない傾向が強い。そこで、関数ｆのパラメータとして単語出現確率パラメータｐ3を用いるのである。また、聞き取れない場合に文の意味自体が全く分らなくなるような重要な単語ほど聞き直される可能性が高い。そこで、関数ｆのパラメータとして単語重要度パラメータｐ4を用いるのである。尚、後述する「誰」「どこ」「いつ」等の５Ｗ１Ｈに関連する単語は重要度が大きく設定される。
【００９２】
上記文節間結合度パラメータｐ5は、既に第１実施の形態において述べたように、言語的に適切な文節の区切れ目から再発声を開始させるためのものである。文節間結合度が大きいほど文節間の結合度が弱く、再発声させる箇所としての適切さが増す。モーラ数パラメータｐ6についても上記第１実施の形態において述べた通りである。
【００９３】
更に、上記指示入力部４７から再発声の指示が入力された際に音声出力されている文字位置は、発声開始時間と指示発声時間との差と、指示発声時間と発声終了予定時間との差の比率から、おおよそ推定できる。
【００９４】
上記関数ｆの決定方法は様々な方法が考えられるが、以下、観測データに基づく決定方法について述べる。尚、関数ｆの計算方法は，説明を簡単にするため、各パラメータ毎に重み係数を掛けてそれらの値を加算する方法とする。上記観測データは、図１３に示すような、解析記憶部４３に記憶されている情報と、指示入力部４７に再発声の指示が入力された際に合成音声が出力されていた文字位置と、利用者が期待した読み開始位置と読み方とを記したもので構成される。これらの観測データを大量に用意し、ユーザが期待した解の確率が最大になるように重み係数を推定するのである。尚、上記重み係数の推定は、重回帰分析等の多変量解析手法を用いるのが一般的である。
【００９５】
観測データの中に、解析結果が複数存在して各々の読み方が違うという指示が多ければ、解析結果パラメータｐ1の値が大きい場合には、読み誤りの可能性が高くなるように重みが学習されることになる。したがって、上記解析結果尤度が接近した次候補が存在する場合には、読み誤りと判断して、読みの次候補を再発声する確率が高くなるのである。
【００９６】
上記位置特定部４８の開始位置候補選出手段４９には、上述のようにして得られた重み係数を有して再発声文節の順序付けを行う関数ｆ(ｐ1,ｐ2,ｐ3,ｐ4,ｐ5,ｐ6)を搭載しておく。そして、指示入力部４７に再発声指示が入力された場合に、制御部５０からの指示に従って、解析記憶部４３に記憶されている各文節の解析結果尤度Ｋ,音韻明瞭度Ｃ,単語出現頻度Ｆ,単語重要度Ｓ,文節間結合度Ｂ及びモーラ数Ｍの値を代入して、各文節の関数ｆの値を算出する。こうして、再発声の開始位置候補が選出される。そして、位置特定部４８は、関数ｆの値が最大である文節を再発声開始位置であると特定して、特定位置を制御部５０に返すのである。
【００９７】
そうすると、上記制御部５０は、上記再発声開始位置から所定数の文節に関して、結果選択部４４に対して、上記第２実施の形態の場合と同様にして、解析記憶部４３に記憶されている複数の解析候補の中から、解析結果尤度の合計値が現在合成音声出力中の解析候補の組み合わせの次に大きな解析候補の組み合わせを選択することを指示する。さらに、音声合成情報変換部５１に対して、上記第３実施の形態の場合と同様にして、音声合成情報列の変換を指示するのである。その結果、上記関数ｆの値が最大である再発声開始文節以降の所定文節に関して、最も大きな要因となっているパラメータが解析結果パラメータｐ1である場合には、結果選択部４４によって読み誤りが修正されることなる。さらに、音韻明瞭性パラメータｐ2あるいは単語出現確率パラメータｐ3である場合には、音声合成情報変換部５１によって、発声パワーを少し大きくしたり、発声速度を少し遅めにしたりして再発声されることになる。
【００９８】
このように、本実施の形態においては、解析記憶部４３には、各文節毎に解析結果尤度Ｋ,音韻明瞭度Ｃ,単語出現頻度Ｆ,単語重要度Ｓ,文節間結合度Ｂおよびモーラ数Ｍを格納するようにしている。また、位置特定部４８には、再発声文節の順序付けを行う関数ｆ(ｐ1,ｐ2,ｐ3,ｐ4,ｐ5,ｐ6)を搭載した開始位置候補選出手段４９を設けて、再発声指示があると、解析記憶部４３に記憶されている各文節の解析結果尤度Ｋ,音韻明瞭度Ｃ,単語出現頻度Ｆ,単語重要度Ｓ,文節間結合度Ｂおよびモーラ数Ｍの値を用いて各文節の関数ｆの値を演算し、演算結果に基づいて再発声開始位置を特定するようにしている。そして、制御部５０は、上記特定された再発声開始位置に関して、結果選択部４４に対する次解析候補の組み合わせの選択、および、音韻変換部５１に対する音声合成情報列の変換を指示するようにしている。
【００９９】
したがって、本実施の形態によれば、「読み方が違う」,「区切り方が違う」,「聞きとり難い」等のユーザの再発声要求意図を反映して自動的に再発声位置を特定することができるのである。
【０１００】
＜第６実施の形態＞
上記第５実施の形態によれば、「読み方が違う」,「区切り方が違う」,「聞きとり難い」等をユーザーが明示的に指示しなくても、その何れであるかを音声合成装置が自動的に判断して再発声開始位置を設定することができる。しかしながら、これらの情報を明示的に指示することで、より確実に再発声位置と再発声方法とを判断することができる。本実施の形態は、ユーザの再発声要求意図を明示的に指示することに関するものである。
【０１０１】
図１４は、本実施の形態の音声合成装置における概略構成を示すブロック図である。テキスト解析部６１,解析記憶部６３,音韻処理部６４および音声合成部６５は、上記第１実施の形態におけるテキスト解析部１,解析記憶部３,音韻処理部４および音声合成部５と同じ構成を有して、同様に動作する。また、位置特定部６８は、上記第５実施の形態における位置特定部４８と同じ構成を有して、同様に動作する。
【０１０２】
音声認識部６６は、マイクを備えて、入力された音声を、音声認識辞書メモリ６７に格納された音声認識辞書を用いて認識する。音声認識辞書メモリ６７は、音声認識する語彙を音声認識辞書として記憶している。ここで、音声認識辞書メモリ６７には、「えっ」,「何」,「もう一度」等の再発声を促す語彙を登録することができる。また、「誰」,「いつ」,「どこで」等のユーザが知りたい情報が何かを問いかける語彙も登録することができる。
【０１０３】
また、解析辞書メモリ６２には、各単語毎に、この単語が音声認識辞書メモリ６７の登録語彙に関連するか否かの情報が付与されている。例えば、単語「鈴木」は、人名であり、登録語彙「誰」と関連する。あるいは、単語「６時」は、時間であり、登録語彙「いつ」と関連する等である。したがって、テキスト解析部６１は上述のような関連単語情報をも解析結果として得ることができ、解析記憶部６３に記憶されることになる。
【０１０４】
位置特定部６８は、再発声文節の順序付けを行う関数ｆ(ｐ1,ｐ2,ｐ3,ｐ4,ｐ5,ｐ6)を搭載した開始位置候補選出手段６９を有している。そして、制御部７０から再発声位置の特定が指示された場合には、解析記憶部６３に格納された各文節の解析結果尤度Ｋ,音韻明瞭度Ｃ,単語出現頻度Ｆ,単語重要度Ｓ,文節間結合度Ｂおよびモーラ数Ｍの値を用いて、関数ｆの値を求める。そして、最も大きな関数ｆの値を呈する文節を再発声位置と特定するのである。
【０１０５】
その場合、上記音声認識部６６によって、音声認識辞書メモリ６７の登録語彙が認識された場合には、解析記憶部６３に記憶されている解析結果の一つである上記関連単語情報を参照して上記認識語彙に関連する関連単語を探し出す。そして、上記関連単語に関する文節の関数ｆ(ｐ1,ｐ2,ｐ3,ｐ4,ｐ5,ｐ6)を算出する際に、単語重要度パラメータｐ4の値を通常よりも大きくする(例えば、単語重要度パラメータｐ4の重み係数や関連単語の単語重要度Ｓの値を整数倍する)のである。こうすることによって、上記認識語彙に関連する単語が入力テキスト文中にあれば、その関連単語を含む文節の関数ｆの値が大きくなり、当該文節から再発声が開始されることになるのである。
【０１０６】
また、その場合、上記解析記憶部６３には、入力されたテキスト文の全文の解析結果を残しておくようにすることによって、現在合成音声出力中のテキスト文に限定されることなく、以前に出力されたテキスト文に遡って再発声することが可能になる。さらに、第１実施の形態における位置特定部７による再発声の開始位置を特定する場合と同様の方法で、文節間結合度Ｂとモーラ数Ｍとの値を用いて終了位置を特定し、開始位置の特定と併用することによって、上記マイクからの「誰」という問いかけに対して、「鈴木さんから」と言うように、人名に関する文節だけを再発声することが実現可能になる。
【０１０７】
同様に、上記音声認識部６６によって、「違う」等の読み変えを促す語彙が認識された場合には、関数ｆ(ｐ1,ｐ2,ｐ3,ｐ4,ｐ5,ｐ6)を算出する際に、解析結果パラメータｐ1の値を通常よりも大きくするのである。こうすることによって、上記第５実施の形態における結果選択部４４と同様の結果選択部を併用して、解析結果が複数ある文節において別の読み方を有する候補を選択して再発声するようにできる。
【０１０８】
上述のように、本実施の形態においては、上記位置特定部６８に、上記第５実施の形態における位置特定部４８と同様の機能を持たせている。そして、解析記憶部６３に格納された各文節の解析結果尤度Ｋ,音韻明瞭度Ｃ,単語出現頻度Ｆ,単語重要度Ｓ,文節間結合度Ｂおよびモーラ数Ｍの値を用いて、関数ｆ(ｐ1,ｐ2,ｐ3,ｐ4,ｐ5,ｐ6)の値を求め、最も大きな関数ｆの値を呈する文節を再発声位置と特定する。
【０１０９】
その際に、上記音声認識部６６によって音声認識辞書メモリ６７の登録語彙が認識された場合には、上記認識語彙「いつ」に関連する関連単語「６時」を含む文節の関数ｆを算出する際に、単語重要度パラメータｐ4の値を通常よりも大きくするようにしている。したがって、ユーザは、「いつ」と音声指示するだけで、所望する文節「６時…」から自動的に再発声を開始できるのである。
【０１１０】
また、上記音声認識部６６によって、読み変えを促す語彙「違う」が認識された場合には、関数ｆを算出する際に、解析結果パラメータｐ1の値を通常よりも大きくするようにしている。したがって、ユーザは、「違う」と音声指示するだけで自動的に別の読み方の候補を選択して再発声できるのである。
【０１１１】
上記各実施の形態における音声合成装置は、携帯電話や電子手帳等の比較的文字情報の少ない携帯端末器に搭載することが有効である。すなわち、このような文字情報の少ない携帯端末器によって、比較的長い文面の電子メールの内容を知る場合には合成音声によって聞き取ることになる。ところが、テキスト音声合成の正解率や明瞭度を完全なものにするのは困難であり、誤解析や不明瞭な場合のリカバリー手段が必要なのである。
【０１１２】
上記各実施の形態における音声合成装置によれば、再発声開始位置や次候補の選択を自動的にできるため、非常に簡単な操作で再発声や発声変更を行うことができ、携帯端末器用の音声合成装置として非常に有効なのである。
【０１１３】
ところで、上記各実施の形態におけるテキスト解析部,音声合成部,指示入力部,位置特定部および制御部による上記解析手段,音声合成手段,指示入力手段,位置特定手段および制御手段としての機能は、プログラム記録媒体に記録された音声合成処理プログラムによって実現される。上記各実施の形態における上記プログラム記録媒体は、ＲＯＭ(リード・オンリ・メモリ)でなるプログラムメディアである。あるいは、外部補助記憶装置に装着されて読み出されるプログラムメディアであってもよい。尚、何れの場合においても、上記プログラムメディアから音声合成処理プログラムを読み出すプログラム読み出し手段は、上記プログラムメディアに直接アクセスして読み出す構成を有していてもよいし、ＲＡＭ(ランダム・アクセス・メモリ)に設けられたプログラム記憶エリア(図示せず)にダウンロードし、上記プログラム記憶エリアに対してアクセスして読み出す構成を有していてもよい。尚、上記プログラムメディアからＲＡＭの上記プログラム記憶エリアにダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。
【０１１４】
ここで、上記プログラムメディアとは、本体側と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フロッピーディスク,ハードディスク等の磁気ディスクやＣＤ(コンパクトディスク)−ＲＯＭ,ＭＯ(光磁気)ディスク,ＭＤ(ミニディスク),ＤＶＤ(ディジタルビデオディスク)等の光ディスクのディスク系、ＩＣ(集積回路)カードや光カード等のカード系、マスクＲＯＭ,ＥＰＲＯＭ（紫外線消去型ＲＯＭ),ＥＥＰＲＯＭ(電気的消去型ＲＯＭ),フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体である。
【０１１５】
また、上記各実施の形態における音声合成装置は、インターネットを含む通信ネットワークと接続可能な構成を有して、上記プログラムメディアは、通信ネットワークからのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワークからダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。あるいは、別の記録媒体からインストールされるものとする。
【０１１６】
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。
【０１１７】
【発明の効果】
以上より明らかなように、第１の発明の音声合成装置は、指示入力手段から入力された再発声を促すための指示を受けて、位置特定手段によって、解析手段による解析結果に基づいて文字列情報中における再発声の開始位置を特定し、制御手段によって、音声合成手段に対して上記特定された開始位置からの音声合成を指示するので、ユーザは、出力合成音声が聞き取れない場合に、その時点で指示入力手段から指示を行うだけで、出力合成音声文中の特定位置から再発声を聞くことができ、長文の後半のみが聞き取れなかった場合でも少ない時間で聞き直しができる。
【０１１８】
さらに、上記解析結果を文節間結合度が含まれるように成し、上記位置特定手段を、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置より前の文節から、モーラ数と上記文節間結合度とに基づいて上記開始位置となる文節を特定するようにしたので、指示を受けた時点に近過ぎず且つ遠過ぎない文節であって、言語的に結合度合が弱く区切れ易い適切な文節を上記開始位置として選ぶことができる。
【０１１９】
また、第２の発明の音声合成装置は、上記解析結果を尤度が含まれるように成し、上記位置特定手段を、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置以前の文節に関して、各解析結果の候補を入れ換えながら尤度の合計値を算出し、得られた尤度の合計値に基づいて上記再発声の開始位置を特定するようにすれば、入力された文字列情報「市場開放によってもたらされる」に基づいて合成音声「しじょーかいほうによっても、たらされる」が発声された場合に、上記尤度の合計値を次に高くする第２候補「よって」を選択して、再発声の開始位置であると特定することができる。したがって、その場合には、文節「よって」の位置から合成音声「よって、もたらされる」を再発声することができる。
【０１２０】
また、上記第１の発明の音声合成装置は、上記解析結果を尤度が含まれるように成すと共に、結果選択手段によって、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置以前の文節に関して、各解析結果の候補を入れ換えながら尤度の合計値を算出し、得られた尤度の合計値に基づいて再発声を行う際の解析結果を選択すれば、入力された文字列情報「市場開放によってもたらされる」に基づいて合成音声「いちば」を発声した場合に、発声の異なる第２候補「しじょー」を選択して、「しじょーかいほうによってもたらされる」の合成音声を再発声することができる。
【０１２１】
また、上記第２の発明の音声合成装置は、上記解析結果を上記尤度に加えて音韻明瞭度,単語出現確率及び単語重要度の少なくとも一つが含まれるように成し、上記位置特定手段を、上記解析結果の尤度に加えて上記音韻明瞭度,単語出現確率および単語重要度の少なくとも一つを用いて選出した上記再発声の開始位置候補に基づいて上記再発声の開始位置を特定するように成せば、解析結果尤度に基づいて上記利用者による再発声指示の意図「読み誤り」が反映された位置を、再発声の開始位置候補として選出することができる。さらに、音韻明瞭度または単語出現確率に基づいて上記意図「聞き取れない」が反映された位置を、または、単語重要度に基づいて上記意図「重要個所の確認」が反映された位置を、再発声の開始位置候補として選出することができる。
【０１２２】
また、この発明の音声合成装置は、上記音声合成手段の音声合成情報生成手段によって、上記解析手段による解析結果に基づいて音声合成情報列を生成し、音声合成情報変換手段によって、上記音声合成情報生成手段で生成された音声合成情報列のうち上記再発声の開始位置以降における所定の音声合成情報列を他の音声合成情報列に変換すれば、聞き取れなかった個所の発声を、「発声速度を少し遅め」に、または「発声ピッチを少し高め」に、または「発声パワーを少し大きめ」に、または「音韻長を少し長め」に変更して再発声を行うことができる。
【０１２３】
また、この発明の音声合成装置は、上記解析結果を読み系列情報が含まれるように成すと共に、文字文変換手段によって、上記再発声の開始位置以降における所定の解析結果の読み系列を文字文記憶手段に記憶された対応文の解析結果列に変換すれば、例えば、上記文字文記憶手段に文字「す」,「ず」及び「き」と対応文「すずめのす」,「すずめのすに濁点」および「切手のき」とを記憶しておけば、上記再発声の開始位置以降における所定の文「鈴木」の読み系列「すずき」を、対応文の列「すずめのす、すずめのすに濁点、切手のき」に変換して再発声できる。
【０１２４】
また、この発明の音声合成装置は、上記指示入力手段を、音声入力された指示を認識する音声認識手段で構成すれば、ユーザの再発声要求意図をユーザの音声によって明示できる。
【０１２５】
また、この発明の音声合成装置は、上記音声認識手段によって音声認識辞書を用いて再発声を促す語彙を認識し、上記解析手段によって解析辞書を用いて上記再発声を促す語彙との関連性の有無を表わす関連情報を含む上記解析結果を生成し、上記位置特定手段によって上記解析手段からの関連情報に基づいて上記再発声の開始位置を特定するように成せば、上記音声認識辞書に「誰」,「いつ」,「どこで」等の再発声を促す語彙を登録しておくことによって、ユーザが知りたい情報が何かを問いかけるこれらの語彙が音声認識された場合には、これらの語彙との関連性が高い「鈴木さん」,「昨日」,「会社で」等の人名や時や場所を表す単語から再発声を行うことができる。
【０１２６】
また、第３の発明の音声合成方法は、再発声を促すための指示を行うステップと、入力された文字列情報の解析結果に基づいて上記文字列情報中における再発声の開始位置を特定するステップと、上記特定された開始位置から音声合成を行うステップを備えて、上記解析結果は文節間結合度を含み、上記開始位置を特定するステップでは、上記文字列情報中における上記指示入力手段から指示を受けた時点に対応する位置より前の文節から、モーラ数と上記文節間結合度とに基づいて上記開始位置となる文節を特定するようにしたので、ユーザは、出力合成音声が聞き取れない場合には、その時点で指示を行うだけで、出力合成音声文中の特定位置から再発声を聞くことができる。したがって、長文の後半のみが聞き取れなかった場合でも少ない時間で聞き直しを行うことができる。さらに、指示を受けた時点に近過ぎず且つ遠過ぎない文節であって、言語的に結合度合が弱く区切れ易い適切な文節を上記開始位置として選ぶことができる。
【０１２７】
また、第４の発明の携帯端末器は、この発明の音声合成装置を備えたので、文字情報の少ない携帯端末器によって、比較的長い文面の電子メールの内容を音声合成出力によって知る場合に、再発声個所や次候補の選択を自動的に行うことができる。したがって、非常に簡単な操作で的確な再発声や発声変更を行うことができる。
【０１２８】
また、第５の発明のプログラム記録媒体は、コンピュータを、上記第１の発明における解析手段,音声合成手段,指示入力手段,位置特定手段および制御手段として機能させる音声合成処理プログラムを記録しているので、上記第１の発明の場合と同様に、ユーザは、出力合成音声が聞き取れない場合にはその時点で指示を行うだけで、出力合成音声文中の特定位置から再発声を聞くことができる。したがって、長文の後半のみが聞き取れなかった場合でも少ない時間で聞き直しを行うことができる。さらに、指示を受けた時点に近過ぎず且つ遠過ぎない文節であって、言語的に結合度合が弱く区切れ易い適切な文節を上記開始位置として選ぶことができる。
【図面の簡単な説明】
【図１】  この発明の音声合成装置におけるブロック図である。
【図２】  図１に示す音声合成装置によって実行される音声合成処理動作のフローチャートである。
【図３】  図１における解析記憶部の格納状態を示す概念図である。
【図４】  「再発声」の指示を行った場合における合成音声出力例を示す図である。
【図５】  モーラ数と評価関数との関係を示す図である。
【図６】  図１とは異なる音声合成装置のブロック図である。
【図７】  図６に示す音声合成装置によって実行される音声合成処理動作のフローチャートである。
【図８】  図６における解析記憶部の格納状態を示す概念図である。
【図９】  「発声変更」の指示を行った場合における合成音声出力例を示す図である。
【図１０】  図１および図６とは異なる音声合成装置のブロック図である。
【図１１】  図１,図６および図１０とは異なる音声合成装置のブロック図である。
【図１２】  図１,図６,図１０および図１１とは異なる音声合成装置のブロック図である。
【図１３】  図１２における解析記憶部の格納状態を示す概念図である。
【図１４】  図１,図６,図１０〜図１２とは異なる音声合成装置のブロック図である。
【符号の説明】
１,１１,２１,３１,４１,６１…テキスト解析部、
２,１２,２２,３２,４２,６２…解析辞書メモリ、
３,１３,２３,３３,４３,６３…解析記憶部、
４,１５,２４,３４,４５,６４…音韻処理部、
５,１６,２５,３５,４６,６５…音声合成部、
６,１７,２６,３６,４７…指示入力部、
７,１４,２７,３７,４８,６８…位置特定部、
８,１９,２８,３８,５０,７０…制御部、
１８…結果選択手段、
２９,５１…音声合成情報変換部、
３９…文字文記憶部、
４０…文字文変換部、
４４…結果選択部、
４９,６９…開始位置候補選出手段、
６６…音声認識部、
６７…音声認識辞書メモリ。
【図１】
0003655808.tif 000002
【図２】
0003655808.tif 000003
【図３】
0003655808.tif 000004
【図４】
0003655808.tif 000005
【図５】
0003655808.tif 000006
【図６】
0003655808.tif 000007
【図７】
0003655808.tif 000008
【図８】
0003655808.tif 000009
【図９】
0003655808.tif 000010
【図１０】
0003655808.tif 000011
【図１１】
0003655808.tif 000012
【図１２】
0003655808.tif 000013
【図１３】
0003655808.tif 000014
【図１４】
0003655808.tif 000015