(57)【要約】      （修正有）【課題】音声合成用のテキスト情報に、読み上げ速度に対応させた適切な位置にポーズを付与するポーズ付与装置を提供する。【解決手段】特徴量抽出部１１０は、テキスト情報を入力として、当該テキスト情報の特徴量である特徴量ベクトルを抽出する。読み上げ速度別モデルは、特徴量ベクトルとポーズを置く又は置かないを意味するポーズ情報とを対応付ける。モデル選択部１３０は、指定読み上げ速度と速度別モデルとを入力として、指定読み上げ速度に対応した読み上げ速度別モデルを選択して出力する。ポーズ位置予測部１４０は、特徴量ベクトルを入力として、当該特徴量ベクトルと選択された読み上げ速度別モデルを対応させることでポーズ付与位置を出力する。【選択図】図１
2014219635.tif 000002
【特許請求の範囲】
【請求項１】
テキスト情報を入力として、ポーズ位置予測に必要となる特徴量である特徴量ベクトルを抽出する特徴量抽出部と、
上記特徴量ベクトルとポーズを置く又は置かないを意味するポーズ情報とを対応付ける読み上げ速度別モデルと、
指定読み上げ速度と読み上げ速度別モデルとを入力として、上記指定読み上げ速度に対応した読み上げ速度別モデルを選択して出力するモデル選択部と、
上記特徴量ベクトルを入力として、当該特徴量ベクトルと上記モデル選択部で選択された読み上げ速度別モデルを対応させることで上記テキスト情報のポーズ付与位置を予測するポーズ位置予測部と、
を具備するポーズ付与装置。
【請求項２】
テキスト情報を入力として、ポーズ位置予測に必要となる特徴量である特徴量ベクトルを抽出する特徴量抽出部と、
上記特徴量ベクトルと入力された指定読み上げ速度とポーズを置く又は置かないを意味するポーズ情報とを対応付ける全速度モデルと、
指定読み上げ速度と上記特徴量ベクトルとを入力として、上記指定読み上げ速度と上記特徴量ベクトルと上記全速度モデルとを対応させることで上記テキスト情報のポーズ付与位置を予測するポーズ位置予測部と、
を具備するポーズ付与装置。
【請求項３】
請求項１又は２に記載したポーズ付与装置において、
上記特徴量ベクトルは、次式で表される
【数３】
2014219635.tif 000006
単語の出現形Ｗと品詞Ｐのベクトルであることを特徴とするポーズ付与装置。
【請求項４】
テキスト情報を入力として、ポーズ位置予測に必要となる特徴量である特徴量ベクトルを抽出する特徴量抽出過程と、
指定読み上げ速度と、上記特徴量ベクトルとポーズを置く又は置かないを意味するポーズ情報とを対応付ける読み上げ速度別モデルとを入力として、上記指定読み上げ速度に対応した読み上げ速度別モデルを選択して出力するモデル選択過程と、
上記特徴量ベクトルを入力として、当該特徴量ベクトルと上記モデル選択部で選択された読み上げ速度別モデルを対応させることで上記テキスト情報のポーズ付与位置を予測するポーズ位置予測過程と、
を備えるポーズ付与方法。
【請求項５】
テキスト情報を入力として、ポーズ位置予測に必要となる特徴量である特徴量ベクトルを抽出する特徴量抽出過程と、
指定読み上げ速度と上記特徴量ベクトルとポーズを置く又は置かないを意味するポーズ情報とを対応付ける全速度モデルを入力とし、上記指定読み上げ速度と上記特徴量ベクトルと上記全速度モデルを対応させることで上記テキスト情報のポーズ付与位置を予測するポーズ位置予測過程と、
を備えるポーズ付与方法。
【請求項６】
請求項１又は２に記載したポーズ付与装置としてコンピュータを動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成のためにテキスト情報からポーズ位置を決定するポーズ付与装置と、その方法とプログラムに関する。
【背景技術】
【０００２】
従来の音声合成では、合成対象とするテキスト情報が情報案内やニュース等に関するものであり、音声合成の読み上げ速度は一定速度を前提としていた。そのため、ポーズ付与においても、一定の速度での合成音声の生成を前提として、目標とする音声を集め、その音声でのポーズ付与を再現するようなポーズ付与装置と、その方法とプログラムが構築されていた。その代表的な技術としては、例えば非特許文献１に記載されたポーズ付与技術が知られている。
【０００３】
非特許文献１に開示されたポーズ付与技術は、単語の出現形や品詞や読み（音節）を特徴量として統計的にモデル化し、テキストの各単語の後ろ、又は前を、ポーズ位置とすべきかどうかの判断を行うものである。また、ポーズ位置を予測する規則を人手で作成する場合も、音声合成の読み上げ速度は一定の前提で集められた音声を目標として、それら音声でのポーズ位置を再現するような規則作成が行われてきた。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】V. Keri, etal., “Pause Prediction from Lexical and Syntax Information”, International Conference on Natural Language Processing(ICON-2007), 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
音声合成技術の進歩に伴い、必要とされる音声合成音も多様化して来ている。音声合成対象のテキスト情報は、従来の情報案内やニュース等の一定速度で読み上げる他に、対話場面でのテキスト情報や宣伝用のテキスト情報のように、人の感情やその他の状況に対応させて様々な速度で読み上げる必要のあるテキスト情報が増加している。しかし、音声合成用のテキスト情報へのポーズ付与は、上記したように、一定の読み上げ速度を前提とする、或いは、読み上げ速度の違いを考慮しない規則（モデル）に基づく技術に留まっていた。その従来の規則は、集められた音声データ内での平均的なポーズ位置を再現するように作られているので、平均よりも速い又は遅い速度でテキスト情報を読み上げる必要がある対話場面などのテキストを合成する場合に、適切な位置にポーズが付与できない。また、そもそも読み上げ速度の違いを吸収する考えが無いために、ポーズ付与の規則も平均化されてしまい、規則（モデル）の正確性にも問題があった。つまり、従来のポーズ付与装置は、複数の読み上げ速度に対応できない課題があった。
【０００６】
本発明は、これらの課題に鑑みてなされたものであり、読み上げ速度に対応させた正確なポーズ情報を、テキスト情報に付与することの出来るポーズ付与装置と、その方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のポーズ付与装置は、特徴量抽出部と、読み上げ速度別モデルと、モデル選択部と、ポーズ位置予測部と、を具備する。特徴量抽出部は、テキスト情報を入力として、ポーズ位置予測に必要となる特徴量である特徴量ベクトルを抽出する。読み上げ速度別モデルは、特徴量ベクトルとポーズを置く又は置かないを意味するポーズ情報とを対応付ける。モデル選択部は、指定読み上げ速度と読み上げ速度別モデルとを入力として、指定読み上げ速度に対応した読み上げ速度別モデルを選択して出力する。ポーズ位置予測部は、特徴量ベクトルを入力として、当該特徴量ベクトルとモデル選択部で選択された読み上げ速度別モデルを対応させることでテキスト情報のポーズ付与位置を予測する。
【発明の効果】
【０００８】
本発明のポーズ付与装置によれば、読み上げ速度別モデルを用いてテキスト情報にポーズを付与するので、読み上げ速度に対応した正確なポーズ付与位置を予測することが出来る。また、読み上げ速度が変化する前提で規則（モデル）を作成するので、ポーズ付与の精度を向上させることも可能である。
【図面の簡単な説明】
【０００９】
【図１】本発明のポーズ付与装置１００の機能構成例を示す図。
【図２】ポーズ付与装置１００の動作フローを示す図。
【図３】読み上げ速度別モデルの一部の例を示す図。
【図４】本発明のポーズ付与装置２００の機能構成例を示す図。
【図５】ポーズ付与装置２００の動作フローを示す図。
【図６】全速度モデル２２０を概念的に示す図である。
【発明を実施するための形態】
【００１０】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
〔発明の考え〕
実施例の説明の前にこの発明の新しい考え方を説明する。ある一定以上の長さの文を話す時、ゆっくり話した場合のポーズと、速く話した場合のポーズとは、異なるのが普通である。例えば、「大変貴重なお土産を頂きましてどうもありがとうございます。」の一文を、速く読む時は、「て」の後に１個目のポーズＰ１が置かれる可能性が高い。一方、遅く読む場合は、「貴重な」の後にポーズＰ１、「お土産を」の後にポーズＰ２、「て」の後にポーズＰ３が置かれても自然である。このようにテキスト情報を読み上げる速度によって、ポーズが付与される位置が自然に異なってくる。
【００１１】
ポーズを付与するための特徴量として、例えば品詞列を用い、数単語分の部分的な品詞列で一致を見ると、完全に品詞列が同じとなる部分品詞列が現れる可能性が高い。その部分品詞列の中で、ポーズが付与される特徴的な部分品詞列を抽出してポーズ付与モデルを構成することで、正確で自然なポーズを付与することができ、自然で聞き取り易い音声合成音を生成することが可能になる。
【００１２】
この発明は、例えば部分品詞列で表される特徴量を入力としてポーズの位置を決める従来のモデルを、読み上げ速度に対応させて用意し、指定される読み上げ速度とその速度に対応するモデルとテキスト情報から抽出した特徴量との対応関係からポーズ付与位置を予測するようにしたものである。この発明のポーズ付与装置によれば、ポーズ付与のモデルが読み上げ速度ごとに用意されるので、読み上げ速度に対応させた正確（自然）なポーズ位置情報を予測することが可能になる。
【実施例１】
【００１３】
図１に、この発明のポ−ズ付与装置１００の機能構成例を示す。その動作フローを図２に示す。ポーズ付与装置１００は、特徴量抽出部１１０と、読み上げ速度別モデル１２０と、モデル選択部１３０と、ポーズ位置予測部１４０と、制御部１５０と、を具備する。ポーズ付与装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。以降で説明する他の実施例についても同様である。
【００１４】
特徴量抽出部１１０は、テキスト情報を入力として、当該テキスト情報の特徴量である特徴量ベクトルを抽出する（ステップＳ１１０）。特徴量は、テキスト情報の単語を構成する例えば音節や品詞列である。これらの特徴量の抽出は、例えば参考文献１（松本裕治、形態素解析システム「茶筅」、情報処理、41(11), pp.1208-1214, 2000）の方法によって得ることが出来る。なお、音節の代わりに、単語の字面である出現形を用いることも可能である。
【００１５】
表１に、特徴量ベクトルの例として単語の出現形と品詞列の例を、「大変貴重なお土産を頂きましてどうもありがとうございます。」の一文の特徴量ベクトルを、単語の出現形と品詞列の例で示す。
【００１６】
【表１】
2014219635.tif 000003
【００１７】
この出現形又は品詞、又は出現形と品詞を、時間軸方向に並べたものが特徴量ベクトルである。出現形Ｗと品詞Ｐで表せる特徴量ベクトルは、式（１）で表せる。
【００１８】
【数１】
2014219635.tif 000004
【００１９】
特徴量ベクトルは、出現形Ｗのみで有っても良いし、品詞Ｐのみで有っても良い。この特徴量ベクトルは、判定対象の単語から文頭側の複数個の単語と、判定対象の単語から文末側の複数個の単語から上記した出現形や品詞を取り出して作成する。ｎは、最も文頭側の単語から最も文末側の単語に向かって数えた数の最大値であり、予め実験によって決めることができる。
【００２０】
読み上げ速度別モデル１２０は、上記テキスト情報から抽出した特徴量と速度別のポーズ付与位置の記録されたデータから作成されたそれぞれの読み上げ速度に対応した統計的モデルであり、当該統計的モデルと特徴量ベクトルとを対応させることでポーズを置く又は置かないを意味するポーズ情報を与えるものである。統計的モデルは、例えば、ポーズの有無を分類する分類木である。分類木は、非特許文献１に記載されたClassification and Regression Treeのことであり、周知なものである。分類木は、式（２）で表せる確率モデル（ＣＲＦ:Conditional Random Field）に置き代えても良い。確率モデルＰ（ｙ｜ｘ）も、参考文献２（奥村監修、高村著、「言語処理のための機械学習入門」、コロナ社、p.153）に記載されているように周知なものである。
【００２１】
【数２】
2014219635.tif 000005
【００２２】
ここでｘは、出現形Ｗや品詞Ｐで表される特徴量ベクトル、ｙは、ポーズを付与する／しないを表す変数を表す記号である。φは素性ベクトルであり、ｘとｙを引数にとり、上記した様々なｘに対して、ｙがポーズを置くことを表す場合に１を、置かない場合に０を返す関数をベクトル状にしたものである。ｗは各素性関数φの重みベクトルである。Ｚｘ，ｗはＰ（ｙ｜ｘ）の総和が１になるようにするための正規化項である。「・」はベクトル間の内積を示す。これらｗ，φ，Ｚｘ，ｗによって読み上げ速度別モデル１２０が構成される。これらの分類木と確率モデルは、従来からの周知な一般的な手法によって作成することが出来る。そして、付与する場合と付与しない場合の確率値の大きな方を用いて、ポーズ付与判定が実現できる。
【００２３】
読み上げ速度別モデル１２０は、分類木で有っても良いし、確率モデルであっても良い。又は、n-gramモデルで有っても良い。このような読み上げ速度別モデル１２０を、例えば、低速度用モデル１２０１、中速度用モデル１２０２、高速度用モデル１２０３の様に、読み上げ速度別に用意しておく。
【００２４】
中速度用モデル１２０２は、例えば、アナウンサーの標準的な読み上げ速度である一分当たり約４００文字（参考文献３：三木朋乃ほか、「ＮＨＫ放送技術研究所・ＮＨＫエンジニアリングサービス・日本ビクター  話速変換技術を搭載したラジオ・テレビの開発」大河内賞ケース研究プロジェクト、ＩＩＲケーススタディCASE#10-03,一橋大学イノベーション研究センター,2010年4月）の読み上げ速度を想定したモデルとすることも可能である。低速度用モデル１２０１は中速度用モデル１２０２の例えば８０％程度の読み上げ速度を想定したモデル、高速度用モデル１２０３は中速度用モデル１２０２の例えば１２０％程度の読み上げ速度を想定したモデルとすることも可能である。このように具体的な読み上げ速度を指標として学習された読み上げ速度別モデル１２０は、そもそも読み上げ速度に対応させる考えの無い従来のモデルよりも、ポーズ付与の精度を正確なものにすることが出来る。
【００２５】
モデル選択部１３０は、指定読み上げ速度と速度別モデルとを入力として、上記指定読み上げ速度に対応した読み上げ速度別モデルを選択して出力する（ステップＳ１３０）。外部から入力される指定読み上げ速度が「低速」の場合、モデル選択部１３０は、低速度用モデル１２０１を選択してポーズ位置予測部１４０に出力する。指定読み上げ速度が「中速」の場合は中速度用モデル１２０２、「高速」の場合は高速度用モデル１２０３がそれぞれ選択される。
【００２６】
ポーズ位置予測部１４０は、特徴量抽出部１１０が出力する特徴量ベクトルを入力として、当該特徴量ベクトルとモデル選択部１３０で選択された読み上げ速度別モデルとを対応させることでテキスト情報のポーズ付与位置を予測する（ステップＳ１４０）。ステップＳ１１０とステップＳ１４０は、全てのテキスト情報についての処理が終了するまで繰り返される（ステップＳ１５０のＮｏ）。この繰り返し動作の処理は制御部１５０で行う。制御部１５０は、ポーズ付与装置１００の各部の時系列動作を制御する一般的なものであり、特別な処理を行うものではない。
【００２７】
ポーズ付与位置の予測を、図３を参照して説明する。図３は、分類木で表される読み上げ速度別モデルの例の一部である。図３は、品詞列と出現形で表される特徴量ベクトルに対応した分類木であり、上記した一文の「大変貴重な」の部分の処理に対応する一部を表記したものである。表１のように、「大変」がＷ１、「貴重」がＷ２、「な」がＷ３である。Ｗ３の直後にポーズを置くか否かの判定の場合を説明する。「大変貴重な」の特徴量ベクトルで、分類木を辿ると、出現形Ｗ１の品詞Ｐ１は名詞（ステップＳ１２０１のＹｅｓ）、出現形Ｗ２の品詞Ｐ２は名詞・形容動詞語幹（ステップＳ１２０２のＹｅｓ）、出現形Ｗ３の品詞Ｐ３は助動詞（ステップＳ１２０３のＹｅｓ）、の分岐を辿り、出現形Ｗ３＝「な」なので（ステップＳ１２０４のＹｅｓ）、出現形Ｗ３の後にポーズを付与する（ステップＳ１２０５）。この場合、ポーズ位置予測部１４０は、例えば「ポーズ付与」を出力する。ポーズ付与は、出現形Ｗ３の後にポーズを付与することを意味する。出現形Ｗ３が「な」以外の場合は出現形Ｗ３の後にポーズを付与しない（ステップＳ１２０６）。
【００２８】
このように、特徴量ベクトルと読み上げ速度別モデルを対応させるとは、特徴量ベクトルで例えば分類木で構成された読み上げ速度別モデル１２０を辿ることである。このように、分類木で構成された読み上げ速度別モデル１２０を、特徴量ベクトルで辿ることでポーズを付与する位置を予測することが出来る。ここではＷ３の文頭側の単語のみを利用してポーズを付与するか否かの判定を行ったが、Ｗ３よりも文末側の単語が分類木の分岐点に来る場合にも同様に木を辿ることで、ポーズを付与するか否かの判定を行うことが可能である。
【００２９】
図３に示した分類木から成る読み上げ速度別モデルを、例えば低速度用モデル１２０１とした場合で、例えばテキスト情報を「大変貴重なお土産を頂きましてどうもありがとうございます」とし、ポーズ位置を読点「、」で表すとすると、ポーズ情報は「大変貴重な、お土産を、頂きまして、ありがとうございます」の３箇所に付与される。
【００３０】
また、高速度用モデル１２０３とした場合のポーズ情報は、例えば「大変貴重なお土産を頂きまして、ありがとうございます」の１箇所に付与される。このように読み上げ速度別のモデルを用意しておくことで、同じテキスト情報に対して、指定された読み上げ速度に対応した正確で自然なポーズを付与することが可能である。
【００３１】
式（２）で示した確率モデルを用いてポーズを付与する方法について説明する。式（２）の確率モデルの場合は、モデル構築の際に、特徴ベクトルｘの要素の部分集合から成るベクトルとポーズを置くか否かというｙとの様々な組であるφに対して、重みｗが計算される。φで参照するｘの部分集合は、モデルの設計者がポーズ付与に関する知識に基づいて様々に選択し、設定することができる。
【００３２】
例えば、Ｗ１単独とｙ、Ｗ２とＷ３とｙ、Ｗ１とＷ２とＷ３とｙから３つのφを作ることができる。また、モデル構築時のデータを用いて重みｗを決めることができる。例えば、上記した「大変貴重な」の部分の「な」の後でのポーズ付与を判定する際には、これら３つのφが１か０かを計算し、それぞれに重みを掛け合わせて足し合わせ（つまり、ｗとφの内積計算）、指数関数を通した値が確率値となる。この確率値をポーズを付与する場合としない場合の両方について算出し、確率値の大きな方を結果として採用する。
【実施例２】
【００３３】
図４に、この発明のポ−ズ付与装置２００の機能構成例を示す。その動作フローを図５に示す。ポーズ付与装置２００は、特徴量抽出部１１０と、全速度モデル２２０と、ポーズ位置予測部２４０と、を具備する。
【００３４】
特徴量抽出部１１０は、テキスト情報を入力として、当該テキスト情報の特徴量である特徴量ベクトルを抽出する（ステップＳ１１０）。特徴抽出部１１０は、参照符号から明らかなようにポーズ付与装置１００と同じものであり、抽出する特徴量も同じである。
【００３５】
全速度モデル２２０は、テキスト情報から抽出した特徴量から作成した複数の読み上げ速度に対応した統計的モデルであり、当該統計的モデルと上記特徴量ベクトルとを対応させることで、ポーズを置く又は置かないを意味するポーズ情報を与えるものである。
【００３６】
全速度モデル２２０は、上記した低速度用モデル１２０１、中速度用モデル１２０２、高速度用モデル１２０３、などの複数の読み上げ速度の統計モデルを内包したものである。図６に、全速度モデル２２０を概念的に示す。
【００３７】
図６（ａ）は、全速度モデル２２０を構成する分類木の根元の分岐点に速度の特徴量が配置された例を示す。読み上げ速度別モデル１２０（図１）に示した低速度用モデル１２０１と中速度用モデル１２０２と高速度用モデル１２０３とが、１個の分類木として全速度モデル２２０を構成している。
【００３８】
図６（ｂ）は、速度の特徴量が、分類木の様々な分岐点に配置された全速度モデル２２０′の例を示す。このように、速度の特徴量による分岐は分類木の様々な部分に有っても構わない。図６中に示す「¬Ｖ１」や「¬Ｖ２」や「¬Ｖ３」は速度では無いそれぞれ異なる特徴量による分岐を意味している。図６に示した構造の全速度モデル２２０，２２０′は、上記した読み上げ速度別モデルと同様に従来からの手法によって作成することが出来る一般的なものである。
【００３９】
ポーズ位置予測部２４０は、外部から入力される指定読み上げ速度と特徴量抽出部１１０が出力する特徴量とからなる特徴量ベクトルを作成し、当該特徴量ベクトルと全速度モデル２２０とを対応させることでポーズ付与位置を予測する（ステップＳ２４０）。ステップＳ１１０とステップＳ２４０は、全てのテキスト情報についての処理が終了するまで繰り返される（ステップＳ２５０のＮｏ）。この繰り返し動作の処理は制御部２５０で行う。
【００４０】
以上説明したポーズ付与装置２００の構成でも、音声合成用のテキスト情報に対して指定された読み上げ速度に対応させた正確で自然な位置に、ポーズを付与することが可能である。
【００４１】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００４２】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４３】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2014219635.tif 000007
【図２】
2014219635.tif 000008
【図３】
2014219635.tif 000009
【図４】
2014219635.tif 000010
【図５】
2014219635.tif 000011
【図６】
2014219635.tif 000012