(57)【特許請求の範囲】
【請求項１】
形態素情報とアクセント句情報を入力として、それらの情報の中から句末音調予測モデルが必要とする出現形、品詞、読み、アクセント句のアクセント型、アクセント句末ポーズの有無、の特徴量情報を抽出する特徴量情報抽出部と、
扱う全ての単語の出現形、品詞に対応したビット列を記憶する単語情報データベースと、
上記特徴量情報抽出部が出力する特徴量情報を入力として、上記単語情報データベースに記憶されたビット列を参照して特徴量情報に対応させた特徴量ベクトルを生成する特徴量変換部と、
句末音調の有無の分類境界をモデル化して、入力された特徴量ベクトルを句末音調の有無に２値分類する予測モデルである句末音調予測モデルと、
上記特徴量変換部が出力する特徴量ベクトルを入力として、当該特徴量ベクトルを上記句末音調予測モデルで２値分類して句末音調有りの場合に、当該アクセント句に句末音調ラベルを付与する予測部と、
を具備する句末音調予測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、会話に頻出する句末音調を、テキスト情報から予測する句末音調予測装置に関する。
【背景技術】
【０００２】
従来の情報提供を目的とした読み上げ音声合成では、合成対象の文には平叙文が多く、アクセント句毎の基本周波数の変化は、アクセント句にアクセント核がある場合はその核の位置以後、核の無い場合にはアクセント句の頭の位置から句末に向かって概ね下降する傾向がある。ところが、人間同士の会話音声においては、基本周波数がアクセント句の末尾に向かって下がった後に再び上昇させて、会話を続ける意図などを伝える場合がある。
【０００３】
このアクセント句内における下降の後に、句末までのどこかの位置において、基本周波数が再び上昇する動きを「句末音調」という。例えば、長く話し続けたい場合に「〜して↑、〜して↑」と句末で基本周波数を再び上昇させる発話に見られる現象である。そのような再上昇の存在を示すラベルを「句末音調ラベル」と呼ぶ。例えば音声合成器が、より自然な会話音声を合成するためには、句末においてこのような句末音調の発生する（基本周波数が再上昇する）アクセント句か否かの認定、すなわち句末音調ラベルの付与が不可欠である。
【０００４】
従来は、例えば英語のニュース音声を対象として、句や文や段落といったさまざまな単位の長さや位置や句境界前後の数単語に対応する品詞を特徴量として用いて、句末で基本周波数が再上昇するか否かの分類が行われた（非特許文献１）。このような予測モデルの構築は、非特許文献１から明らかなように、大量のデータに基づいて自動構成する方式が一般的である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】K. Ross and M. Ostendorf, “Prediction of abstract prosodic labels for speech synthesis”, Computer Speech and Language, vol.10, Issue 3, pp. 155-185(1996).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、会話はニュースの情報案内文のようにほぼ正しい文法で話されるとは限らず、助詞などの機能語が省略されても、内容語から意図が伝わる。そのため、従来のように品詞に基づくだけではなく、発話の内容に基づいた句末音調の処理が必要となる。また、句境界付近で句末音調が生じるが、その境界からの距離は常に一定とは限らないので、句境界前後のできるだけ多くの単語を分類のための特徴量として組み込む必要がある。
【０００７】
しかし、従来技術では、上記したように例えば句境界前後の数単語に限定してその品詞情報から得られる特徴量を用いた句末音調の予測が行われていたため、予測精度が悪いという課題がある。
【０００８】
この発明は、このような課題に鑑みてなされたものであり、品詞以外の他の多くの情報に基づいて句末音調を正確に予測する句末音調予測装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明の句末音調予測装置は、特徴量情報抽出部と、単語情報データベースと、特徴量変換部と、句末音調予測モデルと、予測部と、を具備する。特徴量情報抽出部は、形態素情報とアクセント句情報を入力として、それらの情報の中から句末音調予測モデルが必要とする出現形、品詞、読み、アクセント句のアクセント型、アクセント句末ポーズの有無、の特徴量情報を抽出する。単語情報データベースは、扱う全ての単語の出現形、品詞に対応したビット列を記憶する。特徴量変換部は、特徴量情報抽出部が出力する特徴量情報を入力として、単語情報データベースに記憶されたビット列を参照して特徴量情報に対応させた特徴量ベクトルを生成する。句末音調予測モデルは、句末音調の有無を２値分類する予測モデルである。予測部は、特徴量ベクトルを入力として、当該特徴量ベクトルを句末音調予測モデルで２値分類して句末音調有りの場合に、当該アクセント句に句末音調ラベルを付与する。
【発明の効果】
【００１０】
この発明の句末音調予測装置によれば、品詞に比べて数が多くなる出現形を含めた特徴量から句末音調の有無を２値分類する予測モデルを用いて、従来人手で付与されていた句末音調ラベルの付与を高精度に自動的に行うことが出来る。よって、テキストで表現された例えば会話文から会話音声の合成を大量に行う場合に、正確な句末音調ラベルが付与された音声合成のための入力データを大量に生成することが出来る。
【図面の簡単な説明】
【００１１】
【図１】この発明の句末音調予測装置１００の機能構成例を示す図。
【図２】句末音調予測装置１００の動作フローを示す図。
【図３】特徴量情報の一例を示す図。
【図４】アクセント核の一例を示す図。
【図５】特徴量変換部３０の動作フローを示す図。
【図６】１アクセント句の特徴量ベクトルの構成例を示す図。
【図７】出現形ビット列６０の例を示す図。
【図８】サポートベクトルの例を示す図。
【図９】特徴量ベクトルの他の例を示す図。
【図１０】実施例４の特徴量ベクトルの例を示す図。
【発明を実施するための形態】
【００１２】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００１３】
図１に、この発明の句末音調予測装置１００の機能構成例を示す。その動作フローを図２に示す。句末音調予測装置１００は、特徴量情報抽出部１０と、単語情報データベース２０と、特徴量変換部３０と、句末音調予測モデル記憶部４０と、予測部５０と、制御部６０と、を具備する。句末音調予測装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００１４】
特徴量情報抽出部１０は、形態素情報とアクセント句情報を入力として、それらの情報の中から句末音調予測モデルが必要とする出現形、品詞、読み、アクセント句のアクセント型、句末ポーズの有無、の特徴量情報を抽出する（ステップＳ１０）。単語情報データベース２０は、扱う全ての単語の出現形、品詞に対応したビット列を記憶する。それらのビット列は予め記憶されている。
【００１５】
特徴量変換部３０は、特徴量情報抽出部１０が出力する特徴量情報を入力として、上記単語情報データベース２０に記憶されたビット列を参照して特徴量情報に対応させた特徴量ベクトルを生成する（ステップＳ３０）。
【００１６】
予測部５０は、特徴量ベクトルを入力として、当該特徴量ベクトルを、句末音調予測モデル記憶部４０に記憶された句末音調予測モデルを用いて２値分類し、句末音調有りの場合に、当該アクセント句に句末音調ラベルを付与する（ステップＳ５０）。
【００１７】
ステップ１０の特徴量情報抽出過程と、ステップ２０の特徴量変換過程と、ステップ５０の予測過程は、入力されるテキストデータの全てのアクセント句についての処理が終了するまで繰り返される（ステップＳ６０のｎｏ）。この繰り返し処理や、上記した各機能部間の時系列的な動作の制御は、制御部６０が行う。
【００１８】
以上、説明したようにこの発明の句末音調予測装置１００によれば、句末音調ラベルの付与を自動的に行うことが出来る。以降、各部の動作を具体例を示して更に詳しく説明する。
【００１９】
〔特徴量情報抽出部〕
特徴量抽出部１０は形態素情報とアクセント句情報を入力とする。形態素情報とは、出現形、品詞、読み等の情報である。アクセント句情報とは、アクセント句境界の位置、アクセント句のアクセント型、アクセント句末尾にポーズが付くか否等の情報である。特徴量情報抽出部１０は、これらの情報を入力として、句末音調予測を行うアクセント句分の分類に必要な特徴量情報を抽出する。
【００２０】
抽出する特徴量情報としては、アクセント句境界の位置情報から、句末音調予測を行うアクセント句に含まれる単語の出現形の系列、品詞の系列、を取り出す。続いて、そのアクセント句に含まれる読みの系列をつなげて、そのアクセント句全体の長さを抽出する。そのアクセント句のアクセント型情報からそのアクセント句におけるアクセントの位置情報（アクセント核の位置）を、また、そのアクセント句の末尾にポーズが付くか否かの情報を抽出する。
【００２１】
図３に、一つのアクセント句から抽出された特徴量情報の例を示す。図３の左側から出現形、品詞、読み、の系列、そして当該アクセント句のアクセント核の位置、句末ポーズの有無、の特徴量情報が並んでいる。図４に、アクセント核の位置を示す。図４の横方向は経過時間であり、ＬとＨの周波数の高低を表す。アクセント核はこの例の場合、先頭から３番目の読みとなる。なお、アクセント核はアクセント句の末尾から読みを数えた数としても良い。
【００２２】
なお、形態素情報とアクセント句情報は、従来の音声合成装置で行う言語解析処理の結果で得られる情報である。
〔特徴量変換部〕
図５に、特徴量変換部３０の動作フローを示す。特徴量変換部３０は、アクセント句を構成する全ての単語（出現形）とその品詞の特徴量情報を利用する。従来技術で行われていた単語数で制限をかけて特徴量ベクトルを作る代わりに、単語数とそれに対応した品詞を特徴量ベクトルとして設定する。
【００２３】
これによりアクセント句を構成する単語の数が変化しても、常に単語の出現形とそれに対応する品詞の数の和のサイズで特徴量ベクトルを設定する。従来技術では、ある一定の値に定めた個数の上限値を超える数の単語を特徴量に含めなかったが、この表現方法により、従来含めることが出来なかった単語と品詞とを含めることが可能となる。
【００２４】
図６に、１アクセント句の特徴量ベクトルの構成例を示す。特徴量ベクトルは、出現形ビット列６０と、品詞ビット列６１と、アクセント句長６２と、アクセント核位置６３と、句末ポーズ有無６４と、で構成される。なお、この順番はこの例に限定されない。出現形ビット列６０と品詞ビット列６１との順番が前後に逆転しても構わない。図６の数列が、特徴量ベクトルの一例である。
【００２５】
特徴量変換部３０は、特徴量情報抽出部１０で抽出された１アクセント句単位の特徴量情報を入力として、単語情報データベースに記憶されたビット列を参照してその特徴量情報に対応させた特徴量ベクトルを生成する。入力された特徴量情報が、アクセント句を構成する出現形情報の場合（ステップＳ３１のｙｅｓ）、特徴量変換部３０は、単語情報データベース２０に記憶された出現形のビット列を参照して、入力された出現形情報に対応するビット列のビットを“１”にセットする（ステップＳ３２）。
【００２６】
図７に、出現形ビット列６０の一部を例示する。「出」、「買」、「売」、「借」、「‥‥」の出現形にそれぞれ対応するビットが、句末音調予測装置１００が扱う全ての出現形の数分、配列されている。その長さは、例えば単語数が６万個であれば６万個のビットの配列が出現形ビット列６０となる。
【００２７】
アクセント句が「出てくるんですね」の場合、この例では出現形の「出」が出現形ビット列６０の先頭に位置しているので、出現形ビット列６０の最初のビットが“１”にセットされる。そして、アクセント句の全ての出現形に対応する位置の出現形ビット列６０のビットが“１”にセットされるまで、入力された出現形情報に対応するビット列のビットを“１”にセットする処理が繰り返される。アクセント句が「出てくるんですね」の場合、出現形の個数は５個なので、６万個のビット列中のその出現形に対応する何れかの位置のビットが“１”にセットされる。
【００２８】
品詞についても、出現形と同様の処理によって、品詞ビット列６１の品詞が対応する位置のビットが“１”にセットされる（ステップＳ３４）。品詞ビット列６１は、品詞の数だけ配列されて構成される。
【００２９】
次に、特徴量変換部３０は、特徴量情報の読みの数を数えてアクセント句長とする（ステップＳ３６）。この例の場合、８個の読みを数えて一つのアクセント句が終了する（ステップＳ３７のｙｅｓ）ので、出現形ビット列６０と品詞ビット列６１の配列の後に、アクセント句長、この例の場合「８」、特徴量情報のアクセント核位置、この例の場合「３」、句末ポーズ有無「有り」のビット情報を付与して一つのアクセント句の特徴量変換の処理を終了する（ステップＳ３８）。そして、次のアクセント句の処理に備えてステップＳ３６で数えた読みの数をリセットする。以上説明したステップＳ３１〜ステップＳ３８の処理は、全てのアクセント句に対する処理が終了するまで繰り返される。図６に示した数列が、アクセント句「出てくるんですね」の特徴量ベクトルの例である。出現形ビット列の“０”ビットの数と、品詞ビット列６１の“０”,“１”ビットの数は省略されている。なお、特徴量変換部３０が読みを数える例で説明したが、読みは、音素、音節、モーラの何れに代えても良い。
【００３０】
〔句末音調予測モデル記憶部〕
句末音調予測モデル記憶部４０は、句末音調の有無を２値分類する予測モデルである句末音調予測モデルと、分類境界の特徴を現す特徴量のベクトルであるサポートベクトルと、そのサポートベクトルの分類カテゴリと、を記憶する。句末音調予測モデルはデータが少ない状況下で的確な予測を行うため、各カテゴリの分布形状をモデル化せずに、分類カテゴリの分類境界だけをモデル化することで課題の解決を行う。これには、例えば、サポートベクターマシン（Support Vector Machine）をはじめとした分類器を用いることができる。
一般にサポートベクターマシンによる分類では、次式を用いて分類する。
【００３１】
【数１】
0005687611.tif 000002
【００３２】
ここで、ｓｋは分類境界の特徴を現す特徴量ベクトルであるサポートベクトルである。ｙｋはｓｋと対を成すサポートベクトルｓｋに対する分類カテゴリである。ｂは、学習時に、学習用のデータからサポートベクトルｓｋを選ぶときに同時に求まる分類境界面の切片に相当する値である。
【００３３】
図８に、句末音調予測モデル記憶部４０に記憶されるサポートベクトルｓｋと分類カテゴリｙｋの例を示す。分類カテゴリｙｋには＋１又は−１が設定される。＋１は句末音調があること、つまり、アクセント句末で基本周波数が再上昇することを意味する。−１は句末音調が無いこと、つまり基本周波数が句末で再上昇しないことを意味する。
【００３４】
関数Ｋ（・）は、特徴量ベクトルｘとサポートベクトルｓｋとを入力とし、その２つのベクトル間の類似性に相当する非負の値を算出する関数である。この関数Ｋ（・）には多項式関数やガウス関数が用いられる。この関数Ｋ（・）の出力値が高い場合、サポートベクトルｓｋに与えられた分類カテゴリｙｋが高く評価される。式（１）のように、全サポートベクトルｓｋについてｙｋとＫ（・）との積を計算して足し合わせ、分類先、すなわち、句末音調が有るか否かを決める。
【００３５】
〔予測部〕
予測部５０は、句末音調予測モデル記憶部４０に記憶された句末音調予測モデルとサポートベクトルｓｋと分類カテゴリｙｋとを読み込み、特徴量変換部３０で変換された特徴量ベクトルを入力として、句末音調予測モデルを用いてアクセント句末で基本周波数の再上昇が有るか否かの判定を行い、句末音調有りの場合に句末音調ラベルを付与する。
【００３６】
なお、特徴量ベクトルは、上記した特徴量ベクトルの要素の部分的な組み合わせで構成しても良い。例えば、出現形ビット列６０と品詞ビット列６１との組み合わせのみ、或いは、出現形ビット列６０とアクセント句長６２とアクセント核位置６３と句末ポーズ有無６４との組み合わせ等、特徴量ベクトルの構成は図６に示した例に限定されない。
【実施例２】
【００３７】
出現形ビット列６０と品詞ビット列６１を一つの特徴量ベクトルの要素としても良い。例えば、出現形「出」と品詞「動詞語幹」、同様に「て」と「活用語尾」、「くる」と「補助動詞」、「ん」と「補助名詞」、「ですね」と「判定詞」のそれぞれの組みに対応する要素のみを“１”とする。
【００３８】
図９に、出現形と品詞を一つの組として出現形・品詞ビット列８０で構成した特徴量ベクトルを示す。アクセント句長６２、アクセント核６３、句末ポーズ有無６４は、図６に示した実施例１の特徴量ベクトルと同じである。出現形・品詞ビット列８０の各ビットは、例えば、「出現形＿出：品詞＿動詞語幹」，「出現形＿買：品詞＿動詞語幹」，…，「出現形＿ですね：品詞＿判定詞」，…としたものである。
【００３９】
特徴量ベクトルをこのように扱うことで、出現形と品詞との組み合わせの共起関係を明らかにすることができる。また、特徴量ベクトルの次元数を減らすことができる。
【００４０】
なお、特徴量ベクトルは、実施例１と同様に特徴量ベクトルの要素の部分的な組み合わせで構成しても良い。例えば、出現形・品詞ビット列８０とアクセント句長６２との組み合わせのみ、或いは、出現形・品詞ビット列８０とアクセント句長６２とアクセント核位置６３との組み合わせ等、特徴量ベクトルの構成は図９に示した例に限定されない。
【実施例３】
【００４１】
上記した実施例は、アクセント句の全ての出現形を対象とした特徴量ベクトルを生成する例であるが、全ての出現形を対象にしなくても良い。アクセント句の句末から先頭方向に向かってＮ個の単語までに制限しても良い。例えば、Ｎ＝２個の出現形の数に制限対応する特徴量ベクトルとしても良い。
【００４２】
アクセント句を上記した「出てくるんですね」とした場合、句末から例えば２個の単語に制限したとすると、特徴量ベクトルを実施例２に示した出現形・品詞ビット列８０とした場合、「ん」と「補助名詞」の組、と「ですね」と「判定詞」の組に対応する出現形・品詞ビット列８０を構成する２個のビットのみが“１”となる。その他の単語の出現形と品詞の組に対応する要素は全て０とする。そして、その他のアクセント句の長さやアクセント核の位置や句末ポーズの有無の情報は、実施例１又は２と同様の方法で変換して設定する。この実施例の場合、特徴量変換部３０の処理量が減るので計算機の負荷を軽減することができる。なお、実施例１に示した特徴量ベクトル（図６）に対しても、同様の考えが適用可能である。
【実施例４】
【００４３】
アクセント句末からＮ個の単語をその位置ごとに表現しても良い。つまり、句末からｉ番目の単語の情報として、出現形と品詞の全組み合わせの要素を備えた部分ベクトルを、Ｎ個分連結して特徴量ベクトルとする方法である。Ｎ個に満たなかったことを表現するために、各ｉの位置において、単語が無いことを示す要素を追加する。
【００４４】
図１０にその例を示す。図１０は、Ｎ＝３で句末から３個目の単語が無い場合の例として示している。出現形・品詞ビット列８０１は、句末から数えて１番目の部分特徴量ベクトルである。出現形・品詞ビット列８０２は、句末から数えて２番目の部分特徴量ベクトルである。この例では、句末から数えて２個目まで単語が存在する場合を示しているので、句末から数えて３個目の部分特徴量ベクトル（出現形・品詞ビット列）８０３の末尾に、句末からＮ＝３個目の単語が存在しないことを意味するビット“１”が付与されている。
【００４５】
このように句末音調の有無を判定する対象のアクセント句を構成する単語数（Ｎ）を限定した固定長の特徴量ベクトルを作ることができる。特徴量ベクトルを固定長とすることで、コンピュータをこの発明の句末音調装置１００として機能させるためのプログラムを、簡単にすることができる。また、この発明の句末音調装置１００をハードウェアで構成した場合のハードウェア構成を簡単にする効果を奏する。
【００４６】
なお、上記した実施例は、アクセント句単位で、つまり１個のアクセント句のみに着目して句末音調の有無を予測する例で説明したが、予測対象のアクセント句の前後のアクセント句の情報を用いて、当該予測対象の句末音調の有無を予測するようにしても良い。
【００４７】
以上説明したこの発明の句末音調予測装置１００によれば、テキストとして表現された会話文から会話音声の合成を大量に行なう場合に、正確な句末音調ラベルが付与されたテキストデータを大量に生成することが出来る。句末音調予測装置１００で生成したテキストデータは、音声合成装置の入力データとして用いることが可能であり、そのテキストデータは句末音調の有無が正確に付与されているので合成音声も表現豊かな音声とすることが出来る。
【００４８】
なお、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行され
るのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００４９】
また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００５０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００５１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５２】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005687611.tif 000003
【図２】
0005687611.tif 000004
【図３】
0005687611.tif 000005
【図４】
0005687611.tif 000006
【図５】
0005687611.tif 000007
【図６】
0005687611.tif 000008
【図７】
0005687611.tif 000009
【図８】
0005687611.tif 000010
【図９】
0005687611.tif 000011
【図１０】
0005687611.tif 000012