(57)【特許請求の範囲】
【請求項１】
テキスト文書を入力する入力手段と、
前記入力したテキスト文書から音声処理に必要な言語情報を抽出する言語処理手段と、
前記テキスト文書の内容や特徴を表す表示情報を、前記言語情報から抽出する表示情報抽出手段と、
前記言語情報から音声波形を生成する音声波形生成手段と、
前記音声波形を出力する音声出力手段と、
前記表示情報を表示する表示手段と、
前記音声出力手段における前記音声波形の出力状態に合わせて、前記表示情報を前記表示手段に表示するように制御する出力制御手段とを具備し、
前記表示情報抽出手段は、
前記テキスト文書が定型文か、それ以外の非定型文かを判別する文体判別手段と、
前記テキスト文書が定型文であると判別した場合に、見出し、タイトル、項目、差出人などの予め設定した前記定型文における所定文章を前記テキスト文書から抽出し、この抽出した所定文章を前記表示情報とする定型文表示情報抽出手段と、
前記テキスト文書が非定型文であると判別した場合に、前記テキスト文章の意図を表現する文字列を前記テキスト文書から抽出し、この抽出した文字列を前記表示情報とする非定型文表示情報抽出手段とを具備する
ことを特徴とする音声合成装置。
【請求項２】
入力したテキスト文書から音声処理に必要な言語情報を抽出する言語処理ステップと、
前記テキスト文書の内容や特徴を表す表示情報を、前記言語情報から抽出する表示情報抽出ステップと、
前記言語情報から音声波形を生成する音声波形生成ステップと、
前記音声波形を出力する音声出力ステップと、
前記表示情報を表示する表示ステップと、
前記音声出力ステップにおける前記音声波形の出力状態に合わせて、前記表示情報を前記表示ステップにおいて表示するように制御する出力制御ステップとを具備し、
前記表示情報抽出ステップは、
前記テキスト文書が定型文か、それ以外の非定型文かを判別する文体判別ステップと、
前記テキスト文書が定型文であると判別した場合に、見出し、タイトル、項目、差出人などの予め設定した前記定型文における所定文章を前記テキスト文章から抽出し、この抽出した所定文章を前記表示情報とする定型文表示情報抽出ステップと、
前記テキスト文書が非定型文であると判別した場合に、前記テキスト文章の意図を表現する文字列を前記テキスト文章から抽出し、この抽出した文字列を前記表示情報とする非定型文表示情報抽出ステップとを具備する
ことを特徴とする音声合成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声と同時に画面表示を行う音声合成装置及びその方法に関するものである。
【０００２】
【従来の技術】
近年においては、文字、音声、図形、映像などのマルチメディアを入力、出力及び加工することで、人間とコンピュータとの対話（Human-Computer Interaction）を様々な形態で行う研究が行なわれている。
【０００３】
一方、最近になってメモリ容量や計算機のパワーが飛躍的に向上したことで、マルチメディアを扱えるワークステーションやパーソナルコンピュータが開発され、高品質の音声や音響信号が特別なハードウエアなしに標準システムで入出力できるようになってきた。このような状況から計算機の入出力メディアとして音声入出力技術は重要なものとなっている。
【０００４】
従来から音声入出力技術の中でも、音声合成技術と呼ばれる任意の文章あるいは単語の文字を音声に変換する技術の開発が行なわれてきている。現在では、音声規則合成専用のハードウエアが開発され、テキストの読み合わせなどの応用が広がりつつある。このような技術により、メディア変換として言語的な情報である文字を音声信号に変換が可能となってきた。また、電話による音声サービスや情報携帯端末などにおいて、利用価値が高くなってきている。
【０００５】
【発明が解決しようとする課題】
しかし、電話などのように、音声のみを利用する場合、途中から聞き始めた場合、内容の把握が容易でなく、読み上げている文章が何のことを読み上げているのか把握しにくい。
【０００６】
情報携帯端末などにおける画面表示装置をもつ端末などにおいて、画面表示と音声を出力することが可能なものがあるが、携帯性を重視すると、画面表示部はどうしても小さくなり、音声を出力する場合において、画面表示においても連携して表示する場合の配慮が必要である。
【０００７】
定型文においては、予め設定した項目を表示することも可能であるが、非定型文の表示情報においては、画面表示部が小さい場合、文章の内容を全部表示することは容易でなく、次々と表示される文章を読んでいく、または音声を最後まで聞くなどしないと内容を把握しにくい場合がある。
【０００８】
そこで、本発明では、入力文章から画面表示する表示情報を適切に抽出して、音声と連携して出力し、内容の把握を向上させることを目的とする音声合成装置を提供する。
【０００９】
【課題を解決するための手段】
本発明は、テキスト文書を入力する入力手段と、前記入力したテキスト文書から音声処理に必要な言語情報を抽出する言語処理手段と、前記テキスト文書の内容や特徴を表す表示情報を、前記言語情報から抽出する表示情報抽出手段と、前記言語情報から音声波形を生成する音声波形生成手段と、前記音声波形を出力する音声出力手段と、前記表示情報を表示する表示手段と、前記音声出力手段における前記音声波形の出力状態に合わせて、前記表示情報を前記表示手段に表示するように制御する出力制御手段とを具備し、前記表示情報抽出ステップは、前記テキスト文書が定型文か、それ以外の非定型文かを判別する文体判別ステップと、前記テキスト文書が定型文であると判別した場合に、見出し、タイトル、項目、差出人などの予め設定した前記定型文における所定文章を前記テキスト文章から抽出し、この抽出した所定文章を前記表示情報とする定型文表示情報抽出ステップと、前記テキスト文書が非定型文であると判別した場合に、前記テキスト文章の意図を表現する文字列を前記テキスト文章から抽出し、この抽出した文字列を前記表示情報とする非定型文表示情報抽出ステップとを具備することを特徴とする音声合成装置である。
【００１０】
また、本発明は、入力したテキスト文書から音声処理に必要な言語情報を抽出する言語処理ステップと、前記テキスト文書の内容や特徴を表す表示情報を、前記言語情報から抽出する表示情報抽出ステップと、前記言語情報から音声波形を生成する音声波形生成ステップと、前記音声波形を出力する音声出力ステップと、前記表示情報を表示する表示ステップと、前記音声出力ステップにおける前記音声波形の出力状態に合わせて、前記表示情報を前記表示ステップにおいて表示するように制御する出力制御ステップとを具備し、前記表示情報抽出ステップは、前記テキスト文書が定型文か、それ以外の非定型文かを判別する文体判別ステップと、前記テキスト文書が定型文であると判別した場合に、見出し、タイトル、項目、差出人などの予め設定した前記定型文における所定文章を前記テキスト文章から抽出し、この抽出した所定文章を前記表示情報とする定型文表示情報抽出ステップと、前記テキスト文書が非定型文であると判別した場合に、前記テキスト文章の意図を表現する文字列を前記テキスト文章から抽出し、この抽出した文字列を前記表示情報とする非定型文表示情報抽出ステップとを具備することを特徴とする音声合成方法である。
【００１１】
上記発明であると、任意のテキスト文章が与えられたとき、その文章の構造より、文章中の見出し、タイトル、文章の意図を表現しやすい文字列などの情報と音声を連携して表示することにより、テキスト文章を音声で聞く場合に内容が把握しやすい。
【００１２】
【発明の実施の形態】
以下、本発明の一実施例を図面に従い説明する。
【００１３】
本実施例の音声合成装置１０は、図１に示すように、入力部１２、言語処理部１４、表示情報抽出部１６、音韻処理部１８、合成パラメータ生成部２０、音声波形生成部２２、出力制御部２４、音声出力部２６、表示部２８、表示状況抽出部３０からなる。
【００１４】
上述の各構成部分について説明する。
【００１５】
（言語処理部１４）
文字音声変換の場合には、入力部１２から入力された漢字仮名交じり文を解析し、音声処理に必要な情報である、語、文節の境界、漢字の読み、単語のアクセント、係り受け、及び品詞、活用形などを決定する。
【００１６】
例えば、言語処理部１４において形態素解析、構文解析、意味解析などを行うことにより、音声処理で必要な言語情報、すなわち語、文節の境界、漢字の読み、単語のアクセント、かかり受け、品詞、活用形などの情報を出力することができる。
【００１７】
形態素解析では、入力文を単語単位に分割し、それぞれの単語の品詞や活用情報などの文法情報と、語、文節の境界などを得ることができる。また、形態素解析における辞書検索結果から漢字の読みや、単語のアクセントなどを得ることができる。ここでは、辞書には各単語の読み、アクセントが付加されているものを用いる。
【００１８】
また、構文解析では、形態素解析で得られた語、文節に対して、構文木などを作成して解析し、各語、文節間の係り受けや文節間の結合度の情報などを求めることができる。例えば、例文「議員は選挙の準備を開始する。」に対して構文解析を行なうと、図２に示すような構文情報が得られる。
【００１９】
意味解析では、構文解析で得られる単語の意味属性などを含んだ解析結果から、１つ１つの文の意味構造を出力することができる。
【００２０】
（表示情報抽出部１６）
表示情報抽出部１６では、表示部２８に表示すべき内容情報を抽出し、出力制御部２４に送る。表示情報としては、入力文章に対する定型文のフォーマットや文章のレイアウトを予め保持しておき、入力文章中において、文章におけるタイトル、見出し、電子メール等のサブジェクト、差出人などのフォーマットに該当する部分を表示情報とする。非定型文は、上述した形態素解析で得られた品詞情報や構文解析・意味解析などで得られた情報から表示すべき情報を抽出する。
【００２１】
抽出された表示情報は、出力制御部２４へ送られる。また、言語処理部１４から得られた情報はそのまま音韻処理部１８へ送られる。
【００２２】
（音韻処理部１８）
音韻処理部１８では、漢字の読みや辞書項目などの情報から単語の音韻属性などを生成し、これとともにピッチパターンを生成するためのフレーズ立ち上げ位置やフレーズ指令の大きさ、ポーズ位置、ポーズ長などの韻律制御情報を求める。得られた音韻属性・韻律制御情報から、韻律記号列と単音記号列を生成し、合成パラメータ生成部２０に出力する。合成パラメータ生成部２０では、音韻処理部１８の結果を基にして、音声合成器を駆動するための合成パラメータ系列を生成する。この系列は、音声波形生成部２２に送られて、出力部２６を通じて出力される。
【００２３】
（合成パラメータ生成部２０・音声波形生成部２２）
上記の音韻記号列・韻律記号列を合成パラメータ生成部２０で音声合成器を駆動するための合成パラメータ系列を生成し、音声波形生成部２２に送り、音声波形が生成される。
【００２４】
（表示状況抽出部３０）
表示状況抽出部３０は、現在画面に表示されている表示情報を出力制御部２４に送り、出力制御部２４において制御する。
【００２５】
（出力制御部２４）
出力制御部２４は、音声波形生成部２２で生成された音声波形と、表示情報抽出部１６で抽出された表示情報とを同期して音声出力部２６、表示部２８に出力する。表示情報は、音声波形が出力開始と同時、または直前など、表示する状況を予め設定することができる。また、表示情報を表示する時間は、音声波形の出力終了時と同時、または終了する直前まで、または事前に設定されていた時間内など、表示する状況を予め設定することができる。
【００２６】
また、表示情報を時間毎に変更するなど、予め設定することができる。
【００２７】
また、表示状況抽出部３０から得られる画面表示情報により、他の情報が表示されていないかどうかを判断し、適宜表示情報を出力する。
【００２８】
（具  体  例）
以下、本発明の音声合成装置１０における具体例を説明する。
【００２９】
図３は、本実施例における表示部２８を有する情報携帯端末１００を示す摸式図である。
【００３０】
図３に示すように、情報携帯端末１００は、音声を出力するためにスピーカなどの音声出力部２６を有し、また液晶画面などのように文字情報を表示するための表示部２８を有しているものとする。
【００３１】
定型文の場合
まず、図４、図５に示すような電子メールやタイトル・見出しを含む文章などの定型文に対する場合の例を示す。図５において、「………」の部分は、任意の文章があるものとする。
【００３２】
図１の入力部１２から送られた例文は、言語処理部１４において、音韻処理以降で利用すべき情報が生成される。
【００３３】
次に、表示情報抽出部１６において、図６に示すフローチャートに従って処理される。
【００３４】
まず、入力文章に対して定型文であるかどうかの判定を行なう（ステップａ１）。
【００３５】
本装置１０における定型文は、表示情報抽出部１６において予め設定することができる。
【００３６】
例えば、図４の電子メールの場合は、入力文章において、“To: ”，“From: ”，“Subject:”，“Date: ”などといった文字列が含まれる文章を電子メールの定型文として判別することができる。または、入力文章中の先頭に“To: ”の文字列が存在するなどにより判別することができる。
【００３７】
同様に、図５に示すような例の場合、入力文章の先頭の“「  」”で囲まれた文字列と行頭に連番で数字のついた文字列が含まれる文章であるかどうかで定型文であるかどうかを判別することができる。このように、定型的な文字列が含まれる、または入力文章中における定型的な場所に特定の文字列があるなどを取得することにより、定型文であるかどうかの判定を行なうことができる。
【００３８】
先の判定により、定型文でならば、次のステップへ進み、表示すべき文字列を抽出する（ステップａ２）。
【００３９】
予め抽出する文字列は設定することができ、図４の電子メールのサブジェクト部分を表示情報とすると設定した場合、定型的に得られた入力文章中のヘッダ部に書かれている“Subject:”を含む文字列１行のテキストを抽出することができる。この例の場合、「Subject:テスト」という文字が表示情報として抽出され、出力制御部２４へ送られる。
【００４０】
同様に、図５においても、見出しとなる部分を表示情報とすると設定した場合、連番で数字のついた文字列が含まれる１行を抽出することができる。この場合、表示情報１〜４で示される「１．目次」、「２．概要」、「３．本文」、「４．まとめ」といった文字列が表示情報として抽出され、出力制御部２４へ送られる（ステップａ４）。
【００４１】
次に、言語処理部１４により得られた言語情報は、表示情報抽出部１６から、音韻処理部１８、合成パラメータ生成部２０、音声波形手段により、音声波形として生成される。
【００４２】
次に出力制御部２４においては、図７に示すフローチャートに従って処理される。
【００４３】
出力制御部２４に音声波形が入力されると、まず出力する音声波形の有無を確認する（ステップｂ１）。
【００４４】
表示波形がない場合は終了する（ステップｂ２）。
【００４５】
次に、表示情報抽出部１６から得られた表示情報があるかどうかを確認する（ステップｂ３）。
【００４６】
表示情報がない場合は、次のステップに進む（ステップｂ５）。
【００４７】
表示情報が、ある場合は、予め設定した方法で表示情報である文字列を表示部２８に出力する（ステップｂ４）。
【００４８】
例えば、図４に示した電子メールの場合、予め出力制御部２４において、音声波形出力と同時に表示部２８で表示情報を表示し、音声出力終了と同時に表示を終了すると設定されているものとする。この設定では、表示情報である「Subject:テスト」という文字列が表示部２８に送られ、同時に音声波形を音声出力部２６に生成された音声波形が送られる。
【００４９】
次に、表示の終了は、予め設定内容に従って、音声波形の出力が終了したと同時に（ステップｂ６）、表示部２８への表示情報送信を停止する（ステップｂ７）。
【００５０】
また、図５に示した定型文の場合、予め出力制御部２４において、各章の音声出力と同時に見出しを表示するし、音声出力が終了すると同時に表示を終了するように設定されているものとする。出力制御部２４では、設定通りに、まず表示部２８に、音声波形と最初の見出しである「１．目次」を送る。次にその章の音声出力が終了したと同時に、次の見出し「２．概要」を表示部２８に出力し、同様の手順で表示部２８に、次の見出し「３．本文」、「４．まとめ」送る制御を行なう。次に、表示の終了は、予め設定内容に従って、音声波形の出力が終了したと同時に（ステップｂ６）、表示部２８への表示情報送信を停止する（ステップｂ７）。
【００５１】
表示状況抽出部３０においては、上述した出力制御部２４における、表示を開始するように表示部２８に表示情報を送る場合において、事前に現在の表示部２８における表示状況を監視し、表示状況抽出部３０から得られる情報により、現在表示されている情報を出力制御部２６に送る。例えば、出力制御部２４において、表示部２８に現在表示されている文字列の表示を停止し、表示情報を表示すると予め設定されていた場合、直前の文字列の表示を停止して、新たに表示情報を表示するように表示部２８を制御することができる。
【００５２】
定型文においては、電子メールに限らず、タイトルや見出しを抽出することが可能で、または、アンダーラインや、記号で囲まれている文字列など、予め定型文の構造を設定しておくことにより、同様に表示情報を表示し、音声波形と連携して出力することができる。
【００５３】
非定型文の場合
次に、先の定型文に該当しない文（以下、非定型文という）について、例えば、図８に示すような入力文章の場合の例を示す。
【００５４】
非定型文は、表示情報抽出部１６において、図６に示すフローチャートに従って処理され、言語解析情報から得られる情報を元に、予め設定した手法により、表示情報とすべき該当する文字列を抽出する（ステップａ３）。
【００５５】
例えば、文章中における体言語で名詞である属性の出現頻度の高い単語の文字列を表示情報とするとした場合、図８における先頭の１文において、言語解析で得られる情報は、図２に示したような情報が得られ、この文章においては、体言語で名詞の単語を抽出し、出現頻度を数える。この文の場合、「議員」、「選挙」、「準備」の単語が抽出される。同様に次の文における上記属性の単語が抽出され、それぞれ出現頻度が数えられる。この例文の場合、「選挙」の文字列が３回出現し、出現頻度が高いので、表示情報として選定され、出力制御部２４に送られる。
【００５６】
ここで、表示情報とすべき該当する文字列の抽出においては、出現頻度のみから選定してもよいし、構文構造から得られる主部における単語や目的語となる単語、意味情報として得られる重要度の高い単語など、言語情報における抽出対象を設定できる。また単語に限らず、文節や、１文などを表示情報とすることもできる。
【００５７】
表示情報抽出部１６以降の処理は、先の定型文における処理と同様に行なうことができる。
【００５８】
以上のように、表示情報抽出部１６において、表示すべき文章を抽出し、音声波形の出力と連携して、音声出力部２６、表示部２８に出力することにより、内容を把握しやすくすることが可能となる。
【００５９】
【発明の効果】
以上説明したように、本発明であると、任意のテキスト文章が与えられたとき、その文章の構造より、文章中の見出し、タイトル、文章の意図を表現しやすい文字列などの情報と音声を連携して表示することにより、テキスト文章を音声で聞く場合に内容を把握しやすい。
【図面の簡単な説明】
【図１】音声合成装置のブロック図である。
【図２】構文解析によって得られた構文情報の図面である。
【図３】表示部を有する情報携帯端末を示す摸式図である。
【図４】電子メールを示す図である。
【図５】定型文を示す図である。
【図６】表示情報抽出部における処理を示すフローチャートである。
【図７】出力制御部における処理を示すフローチャートである。
【図８】非定型文を示す図である。
【図１】
0003668583.tif 000002
【図２】
0003668583.tif 000003
【図３】
0003668583.tif 000004
【図４】
0003668583.tif 000005
【図５】
0003668583.tif 000006
【図６】
0003668583.tif 000007
【図７】
0003668583.tif 000008
【図８】
0003668583.tif 000009