(57)【要約】【課題】朗読口調以外の口調で発声した場合にも、音韻列及び韻律特徴のカバレッジを最大化する発声用テキストセットを生成することができる発声用テキストセット作成技術を提供する。【解決手段】朗読口調の自然音声データから求めたパラメータの分布を、目的とするＸ口調の自然音声データから求めたパラメータの分布に変換するパラメータ分布変換関数を予め記憶しておき、発声用テキストセット候補を用いて音声合成プログラムにより音声合成処理を行い、音声合成データから所定のパラメータを求め、パラメータ分布変換関数を用いて、求めたパラメータの分布を変換し、変換後のパラメータ分布を用いて発声用テキストセット候補を評価する。【選択図】図１
2011242470.tif 000002
【特許請求の範囲】
【請求項１】
音声合成用音声素片ＤＢを構築する際に、発声者が読み上げるテキストセットを作成する発声用テキストセット作成方法であって、
記憶部には、朗読口調の自然音声データから求めたパラメータの分布を、目的とするＸ口調の自然音声データから求めたパラメータの分布に変換するパラメータ分布変換関数が、予め記憶されているものとし、
大量日本語文章ＤＢからランダムに所定数の文章を抽出し、発声用テキストセット候補を作成する発声用テキストセット候補作成ステップと、
前記発声用テキストセット候補を用いて、音声合成プログラムにより音声合成処理を行い、音声合成データから所定のパラメータを求め、求めたパラメータの分布を抽出する第２パラメータ分布抽出ステップと、
前記記憶部から前記パラメータ分布変換関数を取り出し、そのパラメータ分布変換関数を用いて、前記音声合成データから求めたパラメータ分布を変換するパラメータ分布変換ステップと、
変換後のパラメータ分布を用いて前記発声用テキストセット候補を評価する評価ステップと、を有する、
ことを特徴とする発声用テキストセット生成方法。
【請求項２】
請求項１記載の発声用テキストセット生成方法であって、
所定の文書を朗読口調で読み上げた朗読口調自然音声データと、同一の文書をＸ口調で読み上げたＸ口調自然音声データとからそれぞれ所定のパラメータを求め、それぞれパラメータの分布を抽出する第１パラメータ分布抽出ステップと、
朗読口調の自然音声データから求めたパラメータ分布を、Ｘ口調の自然音声データから求めたパラメータ分布に、変換するパラメータ分布変換関数を算出するパラメータ分布変換関数算出ステップと、
前記パラメータ分布変換関数を、発声用テキストセット候補を作成する前に、前記記憶部に記憶するステップと、を有する、
ことを特徴とする発声用テキストセット生成方法。
【請求項３】
音声合成用音声素片ＤＢを構築する際に、発声者が読み上げるテキストセットを作成する発声用テキストセット作成方法であって、
記憶部には、朗読口調の自然音声データから求めた各音声素片の出現頻度分布、音声素片毎の音韻継続時間長の分布（以下「継続長分布」という）及び音声素片毎の基本周波数の分布（以下「Ｆ０分布」という）を、それぞれ目的とするＸ口調の自然音声データから求めた各音声素片の出現頻度分布、音声素片毎の継続長分布、音声素片毎のＦ０分布に変換する素片分布変換関数、継続長分布変換関数及びＦ０分布変換関数が、予め記憶されているものとし、
大量日本語文章ＤＢからランダムに所定数の文章を抽出し、発声用テキストセット候補を作成する発声用テキストセット候補作成ステップと、
前記発声用テキストセット候補を用いて、音声合成プログラムにより音声合成処理を行い、音声合成データから音韻列、基本周波数パタン及び音韻継続時間長を抽出する音韻列、基本周波数パタン及び音韻継続時間長抽出ステップと、
前記音韻列から各音声素片の出現頻度を求め、素片分布を抽出する第２素片分布抽出ステップと、
音声素片毎の音韻継続時間長を求め継続長分布を抽出し、音声素片毎の基本周波数パタンを求めＦ０分布を抽出する第２音韻継続時間長及びＦ０分布抽出ステップと、
前記記憶部から素片分布変換関数、継続長分布変換関数及びＦ０分布変換関数を取り出し、これらの分布変換関数を用いて、それぞれ前記音声合成データから求めた素片分布、継続長分布及びＦ０分布を変換するパラメータ分布変換ステップと、
変換後の素片分布、継続長分布及びＦ０分布を用いて評価関数を計算し、前記発声用テキストセット候補を評価する評価ステップと、を有する、
ことを特徴とする発声用テキストセット生成方法。
【請求項４】
請求項３記載の発声用テキストセット生成方法であって、
所定の文書を朗読口調で読み上げた朗読口調自然音声データと、同一の文書をＸ口調で読み上げたＸ口調自然音声データとに音韻ラベルを付与する音韻ラベリングステップと、
全音声素片バリエーション記憶部を参照して、それぞれの自然音声データから得られる音声素片に対し音声素片番号を付与し、音声素片の出現頻度分布を抽出する第１素片分布抽出ステップと、
音声素片毎の音韻継続時間長を計算し、継続長分布を抽出し、音声素片毎の基本周波数パタンを抽出し、Ｆ０分布を抽出する第１音韻継続時間長及びＦ０分布抽出ステップと、
朗読口調の自然音声データから求めた素片分布、継続長分布及びＦ０分布を、それぞれＸ口調の自然音声データから求めた素片分布、継続長分布及びＦ０分布に変換する素片分布変換関数、継続長分布変換関数及びＦ０分布変換関数を算出するパラメータ分布変換関数算出ステップと、
素片分布変換関数、継続長分布変換関数及びＦ０分布変換関数を、発声用テキストセット候補を作成する前に、前記記憶部に記憶するステップと、を有する、
ことを特徴とする発声用テキストセット生成方法。
【請求項５】
音声合成用音声素片ＤＢを構築する際に、発声者が読み上げるテキストセットを作成する発声用テキストセット作成装置であって、
朗読口調の自然音声データから求めたパラメータの分布を、目的とするＸ口調の自然音声データから求めたパラメータの分布に変換するパラメータ分布変換関数を、予め記憶している記憶部と、
大量日本語文章ＤＢからランダムに所定数の文章を抽出し、発声用テキストセット候補を作成する発声用テキストセット候補作成部と、
前記発声用テキストセット候補を用いて、音声合成プログラムにより音声合成処理を行い、音声合成データから所定のパラメータを求め、求めたパラメータの分布を抽出する第２パラメータ分布抽出部と、
前記記憶部から前記パラメータ分布変換関数を取り出し、そのパラメータ分布変換関数を用いて、前記音声合成データから求めたパラメータ分布を変換するパラメータ分布変換部と、
変換後のパラメータ分布を用いて前記発声用テキストセット候補を評価する評価部と、を有する、
ことを特徴とする発声用テキストセット生成装置。
【請求項６】
請求項５記載の発声用テキストセット生成装置であって、
所定の文書を朗読口調で読み上げた朗読口調自然音声データと、同一の文書をＸ口調で読み上げたＸ口調自然音声データとからそれぞれ所定のパラメータを求め、それぞれパラメータの分布を抽出する第１パラメータ分布抽出部と、
朗読口調の自然音声データから求めたパラメータ分布を、Ｘ口調の自然音声データから求めたパラメータ分布に、変換するパラメータ分布変換関数を算出するパラメータ分布変換関数算出部と、を有し、
前記記憶部は、前記パラメータ分布変換関数を、発声用テキストセット候補を作成する前に、記憶する、
ことを特徴とする発声用テキストセット生成装置。
【請求項７】
音声合成用音声素片ＤＢを構築する際に、発声者が読み上げるテキストセットを作成する発声用テキストセット作成装置であって、
朗読口調の自然音声データから求めた各音声素片の出現頻度分布（以下「素片分布」という）、音声素片毎の音韻継続時間長の出現頻度の分布（以下「継続長分布」という）及び音声素片毎の基本周波数パタンの出現頻度の分布（（以下「Ｆ０分布」という）を、それぞれ目的とするＸ口調の自然音声データから求めた各音声素片の出現頻度分布、音声素片毎の継続長分布、音声素片毎のＦ０分布に変換する素片分布変換関数、継続長分布変換関数及びＦ０分布変換関数が、予め記憶されている記憶部と、
大量日本語文章ＤＢからランダムに所定数の文章を抽出し、発声用テキストセット候補を作成する発声用テキストセット候補作成部と、
前記発声用テキストセット候補を用いて、音声合成プログラムにより音声合成処理を行い、音声合成データから音韻列、基本周波数パタン及び音韻継続時間長を抽出する音韻列、基本周波数パタン及び音韻継続時間長抽出部と、
前記音韻列から各音声素片の出現頻度を求め、素片分布を抽出する第２素片分布抽出部と、
音声素片毎の音韻継続時間長を求め継続長分布を抽出する第２継続長分布抽出部と、
音声素片毎の基本周波数パタンを求めＦ０分布を抽出する第２Ｆ０分布抽出部と、
前記記憶部から素片分布変換関数、継続長分布変換関数及びＦ０分布変換関数を取り出し、これらの分布変換関数を用いて、それぞれ前記音声合成データから求めた素片分布、継続長分布及びＦ０分布を変換するパラメータ分布変換部と、
変換後の素片分布、継続長分布及びＦ０分布を用いて評価関数を計算し、前記発声用テキストセット候補を評価する評価部と、を有する、
ことを特徴とする発声用テキストセット生成装置。
【請求項８】
請求項７記載の発声用テキストセット生成装置であって、
所定の文書を朗読口調で読み上げた朗読口調自然音声データと、同一の文書をＸ口調で読み上げたＸ口調自然音声データとに音韻ラベルを付与する音韻ラベリング部と、
全音声素片バリエーション記憶部を参照して、それぞれの自然音声データから得られる音声素片に対し音声素片番号を付与し、素片分布を抽出する第１素片分布抽出部と、
音声素片毎の音韻継続時間長を計算し、継続長分布を抽出する第１継続長分布抽出部と、
音声素片毎の基本周波数パタンを抽出し、Ｆ０分布を抽出する第１Ｆ０分布抽出部と、
朗読口調の自然音声データから求めた素片分布、継続長分布及びＦ０分布を、それぞれＸ口調の自然音声データから求めた素片分布、継続長分布及びＦ０分布に変換する素片分布変換関数、継続長分布変換関数及びＦ０分布変換関数を算出するパラメータ分布変換関数算出部と、を有し、
前記記憶部は、素片分布変換関数、継続長分布変換関数及びＦ０分布変換関数を、発声用テキストセット候補を作成する前に、記憶する、
ことを特徴とする発声用テキストセット生成装置。
【請求項９】
コンピュータを請求項５から８の何れかに記載の発声用テキストセット生成装置として機能させるための発声用テキストセット生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成用音声素片ＤＢを構築する際に、発声者が読み上げるテキストセットを作成する発声用テキストセット作成方法、発声用テキストセット作成装置及び発声用テキストセット作成プログラムに関する。
【背景技術】
【０００２】
波形接続型音声合成システムは、音声合成を行う際に、音声素片を接続する必要があるため、音声合成用音声素片ＤＢを有する。なお、音声素片とは、予め用意した短い単位の音声データである。例えば、音声素片の単位としては、ＣＶ、ＶＣＶ、ＣＶＣ、［Ｃ］Ｖ＊等があり、個別のＴＴＳ（text-to-speech system）に依存する。但し、Ｃは子音を、Ｖは母音を表し、［Ｃ］はＣがない場合がありえることを、Ｖ＊は1つ以上のＶの連鎖を表す。音声合成用音声素片ＤＢを構築する際には、予め発声者が発声用テキストセットを読み上げ、その自然音声データを用いて、音声素片を求める必要がある。なお、自然音声データとは、単語、文等の自然な単位で発声者が発声した音を収録した音声データであり、音声合成用音声素片ＤＢとは、自然音声データから音声合成に必要な音声素片のみを抽出したデータベースである。より自然な音声合成処理を行うために、音声合成用音声素片ＤＢには、音声合成に必要な音声素片がより多く含まれることが望まれる。そのためには、発声用テキストセットが、音声素片を効率的に収集することができる文章からなることが必要である。
【０００３】
多様な口調や発話スタイル、豊かな感情を含んだ音声を高品質に合成する場合、目的とする口調や発話スタイル、感情を含んだ音声（以下「Ｘ口調」という）から作成された音声素片ＤＢを用いた方が、朗読口調で発声された音声から作成された音声素片ＤＢを用いるよりも合成音声の品質が高くなることが、非特許文献１により知られている。これは、Ｘ口調のバリエーション毎に、韻律やスペクトルの特徴が異なるため、大きな韻律変形量及びスペクトルの差異によって生じる自然性等の低下が原因であると考えられる。なお、発話スタイルとは、話者の環境や文化等によって起こる音響特性のことであり、例えば、方言、早口、ぞんざいな話し方、丁寧な話し方、ゆっくりとした話し方、はっきりと発音しない話し方等である。また、感情とは、悲しげな話し方、楽しげな話し方等である。口調とは、口に出したときの言葉の調子や、ものの言い方のようすのことであり、前記発話スタイルや感情を含んだ音声を含む概念とする。韻律の特徴とは声の高さ、イントネーション、リズム、ポーズ等であり、スペクトルとは、音声を周波数成分に分け、周波数毎の強さを表したものである。
【０００４】
一般的には大量日本語テキストの音韻列及び韻律特徴のカバレッジを最大化するようなアルゴリズムを用いて発声用テキストセットが作成されていた（非特許文献２参照）。なお、音韻列とは、音韻（音素）の列であり、読み仮名である。音韻とは、任意の個別言語において意味の区別（弁別）に用いられる最小の音の単位を指し、母音や子音等である。また、カバレッジとは、波形接続型音声合成システムで音声合成を行う際に、処理対象のテキストを音声合成する際に必要となる音声素片が、音素環境、音韻継続時間長及び基本周波数パタンを考慮したときに、音声合成用音声素片ＤＢに含まれている確率である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】大西浩二、益子貴史、小林隆夫著、「ＨＭＭ音声合成における異なる発話スタイルの生成の検討」、電子情報通信学会技術研究報告、２００３年、１０２巻、６１９号（SP2002-17）、ｐ１７〜２２
【非特許文献２】河井恒、樋口宜男、山本誠一著、「基本周波数及び音素時間継続時間長を考慮した音声合成用波形素片データセットの作成」、電子情報通信学会論文誌（Ｄ−II）、１９９９年８月、Ｖｏｌ．Ｊ８２−Ｄ−II、ｎｏ．８、ｐ．１２２９−１２３８
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発声用テキストセットを作成する際に、漢字仮名混じり文の大量日本語テキストから音韻列を推定するために、音声合成プログラムが用いられるが、一般的な音声合成プログラムは朗読口調で読み上げる場合を想定している。そのため、従来技術は、Ｘ口調で発声する場合に、推定した通りに発声者が発声しない場合が生じる。例えば、朗読口調を想定した一般的な音声合成プログラムを利用して音韻列を推定して発声用テキストセットを作成し、それを用いてＸ口調で発声者が発声した場合、音声合成プログラムが推定した音韻列と実際にＸ口調で発声して得られる音韻列に差（読みの揺れ）が生じると想定される。例えば、「明日」という単語は、一般的な音声合成プログラムを用いて音韻列を推定すると“あし^た”（^は無声化を表す記号）となるが、驚きの感情で発声すると“あし^たー”と語尾が長母音化する。また、強調した発声の場合“あした！”と“し”が無声化しなかったりする場合が想定される。
【０００７】
このように、発声用テキストセット生成時に想定した音韻列と、実際にＸ口調で発声して得られる音韻列とが異なる場合、発声用テキストセット生成時に計算した「音韻列及び韻律特徴のカバレッジ最大化」が想定した通り実現されず、それにより合成音声の品質が低下するという問題がある。
【課題を解決するための手段】
【０００８】
前記の課題を解決するために、本発明に係る発声用テキストセット作成技術は、朗読口調の自然音声データから求めたパラメータの分布を、目的とするＸ口調の自然音声データから求めたパラメータの分布に変換するパラメータ分布変換関数を予め記憶しておき、発声用テキストセット候補を用いて音声合成プログラムにより音声合成処理を行い、音声合成データから所定のパラメータを求め、パラメータ分布変換関数を用いて、求めたパラメータの分布を変換し、変換後のパラメータ分布を用いて発声用テキストセット候補を評価する。
【発明の効果】
【０００９】
本発明は、朗読口調以外の口調で発声した場合にも、音韻列及び韻律特徴のカバレッジを最大化する発声用テキストセットを生成することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】発声用テキストセット作成部の構成図。
【図２】発声用テキストセット作成部の処理フローを示す図。
【図３】変換関数作成部の構成図。
【図４】変換関数作成部の処理フローを示す図。
【図５】（ａ−１）朗読口調における素片分布を、（ａ−２）Ｘ口調における素片分布を、（ｂ−１）朗読口調における継続長分布を、（ｂ−２）Ｘ口調における継続長分布を、（ｃ−１）朗読口調におけるＦ０分布を、（ｂ−２）Ｘ口調におけるＦ０分布を示す図。
【図６】テキストセット作成部の構成図。
【図７】テキストセット作成部の処理フローを示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、詳細に説明する。
【実施例１】
【００１２】
＜発声用テキストセット作成装置１０００＞
図１及び図２を用いて実施例１に係る発声用テキストセット作成装置１０００を説明する。発声用テキストセット作成装置１０００は、音声合成用音声素片ＤＢを構築する際に、発声者が読み上げるテキストセットを作成する。
【００１３】
発声用テキストセット作成装置１０００は、入出力インタフェース部１０１と、変換関数作成部１００と、記憶部２０３と、テキストセット作成部２００を有する。
【００１４】
発声用テキストセット作成装置１０００は、入出力インタフェース部１０１を介して、発声用テキストセット作成者（以下「ユーザ」という）から変換関数作成指示を受信すると、変換関数作成部１００は、オフライン処理により、朗読口調の自然音声データから求めたパラメータの分布を、目的とするＸ口調の自然音声データから求めたパラメータの分布に変換するパラメータ分布変換関数（例えば、後述する素片分布変換関数、継続長分布変換関数及びＦ０分布変換関数）を作成し（ｓ１００）、後述する発声用テキストセット候補を作成する前に、記憶部２０３に記憶する。
【００１５】
さらに、発声用テキストセット作成装置１０００は、入出力インタフェース部１０１を介して、ユーザからテキストセット作成指示と口調指定情報を受信すると（ｓ１０１）、テキストセット作成部２００は、オンライン処理により、Ｘ口調で発声した場合のカバレッジを最大化するテキストセットを作成し（ｓ２００）、入出力インタフェース部１０１を介して、ユーザに出力する。以下各部の処理内容を説明する。
【００１６】
＜入出力インタフェース部１０１＞
入出力インタフェース部１０１は、ユーザからの入力を受け付けると共に、当該ユーザに対して情報を出力する。例えば、データが入力される入力インタフェース（例えばキーボード、マウス等）とデータが出力される出力インタフェース（例えばディスプレイ、プリンタ等）、または、それらの入出力インタフェースに対する入出力端子からなる。また、発声用テキストセット作成装置１０００がネットワーク上のサーバ等であり、ユーザがネットワークを介してアクセスする場合には、入出力インタフェース部１０１は、ユーザとデータを送受信するための通信部等であってもよい。
【００１７】
＜記憶部２０３＞
記憶部２０３は、入出力される各データや演算過程の各データを、逐一、格納・読み出しする。それにより各演算処理が進められる。但し、必ずしも記憶部２０３に記憶しなければならないわけではなく、各部間で直接データを受け渡してもよい。なお、後述する素片分布変換関数ＤＢ２３４、継続長分布変換関数ＤＢ２３６及びＦ０分布変換関数ＤＢ２３８は、記憶部２０３の一部であってもよい。
【００１８】
＜変換関数作成部１００＞
変換関数作成部１００は、例えば、Ｘ口調で人間が発声した自然音声を利用して、朗読口調とＸ口調の差分（音韻列に含まれる音声素片の出現頻度分布の差、音声素片毎の音韻継続時間長の出現頻度分布の差、音声素片毎の基本周波数パタンの出現頻度分布の差）を抽出し、パラメータ分布変換関数を求め、これを記憶部２０３に記憶する。
【００１９】
図３及び図４を用いて変換関数作成部１００を説明する。変換関数作成部１００は、自然音声ＤＢ１１０と、音韻ラベリング部１１１と、第１パラメータ分布抽出部１２０と、パラメータ分布変換関数算出部１３０とを備える。
【００２０】
（自然音声ＤＢ１１０及び音韻ラベリング部１１１）
自然音声ＤＢ１１０は、朗読口調自然音声データとＸ口調自然音声データとを予め記憶しておく。例えば、各自然音声データは、同じテキスト（例えば「旋回する」）を朗読口調とＸ口調で読み上げたものである。なお、Ｘ口調として様々なバリエーションを有してもよく、バリエーション毎に自然音声データを作成し、記憶する。
【００２１】
音韻ラベリング部１１１は、入出力インタフェース部１０１を介して変換関数作成指示を受信すると、自然音声ＤＢ１１０から、朗読口調自然音声データとＸ口調自然音声データとを取得し（ｓ１１０）、各自然音声データに、手動または自動で、音韻ラベル（例えば/seNkaisuru/等）を付与し（ｓ１１１）、取得した各自然音声データとそれに対するラベルデータを素片分布抽出部１２３に出力する。
【００２２】
（第１パラメータ分布抽出部１２０）
第１パラメータ分布抽出部１２０は、所定の文書を朗読口調で読み上げた朗読口調自然音声データと、同一の文書をＸ口調で読み上げたＸ口調自然音声データとからそれぞれ所定のパラメータを求め、それぞれパラメータの分布を抽出する（ｓ１２０）。
【００２３】
例えば、第１パラメータ分布抽出部１２０は、全音声素片バリエーション記憶部１２２と、素片分布抽出部１２３と、継続長分布抽出部１２５と、Ｆ０分布抽出部１２７とを備える。
【００２４】
｛全音声素片バリエーション記憶部１２２及び素片分布抽出部１２３｝
素片分布抽出部１２３は、全音声素片バリエーション記憶部１２２を参照して、それぞれの自然音声データから得られる音声素片に対し音声素片番号を付与し（ｓ１２３ａ）、音声素片の出現頻度の分布（以下「素片分布」という）を抽出する（ｓ１２３ｂ）。
【００２５】
全音声素片バリエーション記憶部１２２には、音声素片（または音声素片から得られる特徴量や音声素片に対応するラベルデータ等）と各音声素片に対する音声素片番号が記憶されている。但し、全音声素片バリエーション記憶部１２２に記憶される音声素片は、開発しようとするテキスト音声合成システムに依存したものになる。
【００２６】
素片分布抽出部１２３は、各自然音声データとラベルデータを受信し、自然音声データから得られる音声素片をキーとして、全音声素片バリエーション記憶部１２２を検索し、各音声素片に対する音声素片番号を取得する。得られた音声素片番号の数（出現頻度）に基づき、全ての音声素片の種類毎の出現頻度を求め、その素片分布を抽出する。素片分布を素片分布変換関数算出部１３３に、各自然音声データとそれに紐付けられた音声素片番号を継続長分布抽出部１２５とＦ０分布抽出部１２７に送信し、継続長分布抽出部１２５にはさらに各自然音声データに付与したラベルデータも送信する。
【００２７】
｛継続長分布抽出部１２５｝
継続長分布抽出部１２５は、ラベルデータと、音声素片番号を受信し、これを用いて、音声素片毎の音韻継続時間長を計算し（ｓ１２５ａ）、音声素片毎の音韻継続時間長の出現頻度の分布（以下「継続長分布」という）を抽出し（ｓ１２５ｂ）、これを継続長分布変換関数算出部１３５に送信する。なお、音韻継続長はベクトルデータとして計算される。例えば、音声素片”ＫＡＳ”の各音韻の継続時間長がそれぞれ、Ｋの長さが１２ｍｓ、Ａの長さが２２ｍｓ、Ｓの長さが１１ｍｓの場合には、ベクトルデータを（１２，２２，１１）とする。但し、他の従来技術により音声素片毎の音韻継続時間長を表してもよい。
【００２８】
｛Ｆ０分布抽出部１２７｝
Ｆ０分布抽出部１２７は、自然音声データと、音声素片番号と、ラベルデータとを受信し、これらを用いて、音声素片毎の基本周波数パタンを抽出し（ｓ１２７ａ）、音声素片毎の基本周波数パタンの出現頻度の分布（以下「Ｆ０分布」という）を抽出し（ｓ１２７ｂ）、Ｆ０分布抽出部１２７に送信する。なお、基本周波数パタンはベクトルデータとして計算される。例えば、音声素片”ＡＳＵ”の各音韻の基本周波数パタンの周波数の平均値がそれぞれ、Ａの平均値が１２０Ｈｚ、Ｓの平均値が０Ｈｚ（Ｓは無声子音であり基本周波数がないため）、Ｕの平均値が２２０Ｈｚの場合には、ベクトルデータを（１２０，０，２２０）とする。但し、基本周波数パタンの指定方法は、この方法以外にも様々なものがあり、他の従来技術により音声素片毎の基本周波数パタンを表してもよい。例えば、音声素片の基本周波数パタンの周波数の平均値と、周波数の分散と、始点の周波数と、終点の周波数からなるベクトルデータを抽出してもよいし、音韻毎に平均値をとるのではなく、基本周波数の時間的変化パタンを３点の折れ線で近似してもよい。
【００２９】
（パラメータ分布変換関数算出部１３０）
パラメータ分布変換関数算出部１３０は、朗読口調の自然音声データから求めたパラメータ分布を、Ｘ口調の自然音声データから求めたパラメータ分布に、変換するパラメータ分布変換関数を算出する（ｓ１３０）。
【００３０】
例えば、パラメータ分布変換関数算出部１３０は、素片分布変換関数算出部１３３と、継続長分布変換関数算出部１３５と、Ｆ０分布変換関数算出部１３７とを備える。
【００３１】
｛素片分布変換関数算出部１３３｝
素片分布変換関数算出部１３３は、各自然音声データから求めた素片分布を受信し、朗読口調の自然音声データから求めた素片分布（図５（ａ−１））を、Ｘ口調の自然音声データから求めた素片分布（図５（ａ−２））に変換する素片分布変換関数を算出し（ｓ１３３）、素片分布変換関数ＤＢ２３４に送信し、登録する。図５の上段は、朗読口調からＸ口調へ素片出現頻度分布を変換する素片分布変換関数ｆのイメージを示している。（ａ−１）及び（ａ−２）の横軸上にＮ個の音声素片番号が左から順番に並べられている。縦軸は出現頻度である。変換関数ｆは、左の分布を右の分布に変換する関数である。これにより、読みの揺れに関する両口調間の差などを変換関数ｆに織り込むことができる。
【００３２】
例えば、音声素片の種類数をＮとするとき、音声素片毎に朗読口調の素片分布｛ｕ１ｗ，ｕ２ｗ，…，ｎＮｗ｝とＸ口調の素片分布｛ｕ１ｘ，ｕ２ｘ，…，ｎＮｘ｝との差分｛ｕ１ｗ−ｕ１ｘ，ｕ２ｗ−ｕ２ｘ，…，ｎＮｗ−ｕＮｘ｝を求め、記憶しておく。後述する素片分布変換部２３３において、素片分布変換関数は、入力される素片分布から、この差分を差し引くことで分布を変換する。また、例えば、素片分布変換関数は、音声素片毎に朗読口調の素片分布とＸ口調の素片分布との比を、入力される素片分布に乗じることで変換してもよい。また他の方法によって、朗読口調の素片分布をＸ口調の素片分布に変換してもよい。なお、素片分布変換関数算出部１３３はＸ口調のバリエーション数分の素片分布変換関数を算出し、素片分布変換関数ＤＢ２３４に送信し、登録する。
【００３３】
｛継続長分布変換関数算出部１３５｝
継続長分布変換関数算出部１３５は、各自然音声データの音声素片毎の継続長分布を受信し、朗読口調の自然音声データから求めた音声素片毎の継続長分布（図５（ｂ−１））を、Ｘ口調の自然音声データから求めた音声素片毎の継続長分布（図５（ｂ−２））に変換する継続長分布変換関数を算出し（ｓ１３５）、継続長分布変換関数ＤＢ２３６に送信し、登録する。よって、継続長分布変換関数ＤＢ２３６には、（Ｘ口調のバリエーション数）×（音声素片の種類数Ｎ）分の継続長分布変換関数が登録されることになる。図５の中段は、朗読口調からＸ口調へ音韻継続時間長の出現頻度分布を変換する継続長分布変換関数のイメージを示している。左側が朗読口調におけるある音声素片iの音韻継続時間長の出現頻度（音韻継続時間長ベクトルのバリエーション数をＭｉとする）、右側がＸ口調におけるある音声素片iの音韻継続時間長の出現頻度を示しており、（ｂ−１）及び（ｂ−２）の横軸上にＭｉ個の音韻継続長ベクトルが左から順番に並べられている。縦軸は出現頻度である。変換関数ｇｉは、左の分布を右の分布に変換する関数である。
【００３４】
例えば、ある音声素片ｉに対する音韻継続時間長ベクトルのバリエーション数をＭｉとするとき、音声素片毎に朗読口調の継続長分布｛ｕ１ｗ，ｕ２ｗ，…，ｎＭｉｗ｝とＸ口調の継続長分布｛ｕ１ｘ，ｕ２ｘ，…，ｎＭｉｘ｝との差分｛ｕ１ｗ−ｕ１ｘ，ｕ２ｗ−ｕ２ｘ，…，ｎＭｉｗ−ｕＭｉｘ｝を求め、記憶しておく。後述する継続長分布変換部２３５において、継続長分布変換関数は、入力される継続長分布から、この差分を差し引くことで分布を変換する。この処理を全ての音声素片に対して行う。また他の方法によって、朗読口調の継続長分布をＸ口調の継続長分布に変換してもよい。後述するＦ０分布変換関数算出部１３７及びＦ０分布変換部２３７についても同様の処理により、Ｆ０分布変換関数を求め、Ｆ０分布を変換することができる。
【００３５】
｛Ｆ０分布変換関数算出部１３７｝
Ｆ０分布変換関数算出部１３７は、各自然音声データの音声素片毎のＦ０分布を受信し、朗読口調の自然音声データから求めた音声素片毎のＦ０分布（図５（ｃ−１））を、Ｘ口調の自然音声データから求めた音声素片毎のＦ０分布（図５（ｃ−２））に変換するＦ０分布変換関数を算出し（ｓ１３７）、Ｆ０分布変換関数ＤＢ２３８に送信し、登録する。Ｆ０分布変換関数ＤＢ２３８には、（Ｘ口調のバリエーション数）×（音声素片の種類数Ｎ）分のＦ０分布変換関数が登録されることになる。図５の下段は、朗読口調からＸ口調へＦ０分布を変換する関数のイメージを示している。左側が朗読口調におけるある音声素片iの基本周波数パタンの出現頻度（基本周波数パタンベクトルのバリエーション数をＬｉとする）、右側がＸ口調におけるある素片iの基本周波数パタンの出現頻度を示しており、（ｃ−１）及び（ｃ−２）の横軸上にＬｉ個の基本周波数パタンベクトルが左から順番に並べられている。縦軸は出現頻度である。変換関数ｈｉは、左の分布を右の分布に変換する関数である。
【００３６】
＜テキストセット作成部２００＞
図６及び図７を用いてテキストセット作成部２００を説明する。テキストセット作成部２００は、発声用テキストセット候補作成部２１０と、大量日本語ＤＢ２１１と、第２パラメータ分布抽出部２２０と、パラメータ分布変換部２３０と、評価部２５０と、終了判定部２６０とを有する。なお、図６中、パラメータ分布変換部２３０と、変換関数ＤＢ２３４、２３６及び２３８とが本発明によって追加される部分であり、その他の部分は従来の技術と同等の繰り返し処理を行ってもよい（例えば非特許文献２）。繰り返し処理には「交換法」や「貪欲アルゴリズム」等があるが、図６及び図７では交換法を例として示している。
【００３７】
（発声用テキストセット候補作成部２１０及び大量日本語ＤＢ２１１）
発声用テキストセット候補作成部２１０は、インタフェース部１０１を介してテキストセット作成指示を受信すると、大量日本語文章ＤＢ２１１から所定数（例えば、５００個）の文章を抽出し、最初の発声用テキストセット候補（以下「Ｔ」という）を作成し（ｓ２１０）、第２パラメータ分布抽出部２２０に送信する。なお、テキストセット作成指示に大量日本語文章ＤＢ２１１から抽出する文章の数を指定する情報（以下「抽出数指定情報」という）を加えてもよい。なお、抽出数指定情報は、ユーザが最初に指定し、入力する値である。
【００３８】
（第２パラメータ分布抽出部２２０）
第２パラメータ分布抽出部２２０は、Ｔを用いて、音声合成プログラムにより音声合成処理を行い、音声合成データから所定のパラメータを求め、求めたパラメータの分布を抽出する（ｓ２２０）。
【００３９】
例えば、第２パラメータ分布抽出部２２０は、音韻列、基本周波数パタン、音韻継続時間長抽出部２２１と、素片分布抽出部２２３と、継続長分布抽出部２２５と、Ｆ０分布抽出部２２７とを備える。
【００４０】
｛音韻列、基本周波数パタン、音韻継続時間長抽出部２２１｝
音韻列、基本周波数パタン、音韻継続時間長抽出部２２１は、発声用テキストセット候補を受信し、これを用いて、音声合成プログラムにより音声合成処理を行い、音声合成データから音韻列、基本周波数パタン及び音韻継続時間長を推定し、これらを抽出して（ｓ２２１）、素片分布抽出部２２３に送信する。
【００４１】
｛素片分布抽出部２２３｝
素片分布抽出部２２３は、音韻列、基本周波数パタン及び音韻継続時間長を受信し、音韻列を用いて各音声素片の出現頻度を求め、素片分布を抽出し（ｓ２２３）、素片分布変換部２３３に送信する。また、音声素片とそれに紐付けられた音韻継続長を継続長分布抽出部２２５に、音声素片とそれに紐付けられた基本周波数パタンをＦ０分布抽出部２２７に送信する。
【００４２】
｛継続長分布抽出部２２５｝
継続長分布抽出部２２５は、素片分布と音声素片毎の音韻継続長を受信し、音声素片毎の音韻継続時間長を求め、その出現頻度から継続長分布を抽出し（ｓ２２５）、継続長分布変換部２３５に送信する。
【００４３】
｛Ｆ０分布抽出部２２７｝
Ｆ０分布抽出部２２７は、素片分布と音声素片毎の基本周波数パタンを受信し、音声素片毎の基本周波数パタンを求め、その出現頻度からＦ０分布を抽出し（ｓ２２７）、Ｆ０分布変換部２３７に送信する。
【００４４】
なお、素片分布抽出部２２３では素片分布を１つ、継続長分布抽出部２２５及びＦ０分布抽出部２２７では音声素片のバリエーション数分のＦ０分布及び継続長分布を抽出する。
【００４５】
（パラメータ分布変換部２３０）
パラメータ分布変換部２３０は、入出力インタフェース部１０１を介して口調指定情報を受信し、口調指定情報に基づき、記憶部２０３からパラメータ分布変換関数を取り出し、そのパラメータ分布変換関数を用いて、音声合成データから求めたパラメータ分布を変換する（ｓ２３０）例えば、パラメータ分布変換部２３０は、素片分布変換部２３３と、継続長分布変換部２３５と、Ｆ０分布変換部２３７とを備える。
【００４６】
｛素片分布変換部２３３｝
素片分布変換部２３３は、口調指定情報と素片分布を受信し、口調指定情報をキーとして、記憶部２０３内の素片分布変換関数ＤＢ２３４を検索し、対応する素片分布変換関数を取り出し、これを用いて、（合成データから求めた）受信した素片分布を変換し（ｓ２３３）、変換後の素片分布を評価部２５０に送信する。
【００４７】
｛継続長分布変換部２３５｝
継続長分布変換部２３５は、口調指定情報と継続長分布を受信し、口調指定情報をキーとして、記憶部２０３内の継続長分布変換関数ＤＢ２３６を検索し、対応する継続長分布変換関数を取り出し、これを用いて、（音声合成データから求めた）受信した継続長分布を変換し（ｓ２３５）、変換後の継続長分布を評価部２５０に送信する。
【００４８】
｛Ｆ０分布変換部２３７｝
Ｆ０分布変換部２３７は、口調指定情報とＦ０分布を受信し、口調指定情報をキーとして、記憶部２０３内のＦ０分布変換関数ＤＢを検索し、対応するＦ０分布変換関数を取り出し、これを用いて、（音声合成データから求めた）受信したＦ０分布を変換し（ｓ２３７）、変換後のＦ０分布を評価部２５０に送信する。
【００４９】
（評価部２５０）
評価部２５０は、変換後のパラメータ分布（素片分布、継続長分布及びＦ０分布）を用いて評価関数を計算し、発声用テキストセット候補を評価し（ｓ２５０）、評価結果を終了判定部２６０を介して発声用テキストセット候補作成部２１０に送信する。例えば、非特許文献２の方法等により評価関数を計算する。
【００５０】
例えば、全ての音声素片の種類をＮ、発声用テキストセット候補中に現れる音声素片の出現頻度を｛ｕ１，ｕ２，…，ｎＮ｝と表し、ｕｉの相対出現頻度をｐｉとする。ｕｉに対応する音韻継続時間長の種類をＮｉ、それぞれの出現頻度を｛ｖｉ１，ｖｉ２，…，ｖｉＮｉ｝と表し、ｖｉｊの相対出現頻度をｑｉｊとする。なお、基本周波数パタンについても、音韻継続時間長と同様の方法により求めることができる。
【００５１】
音声素片ｕｉのカバレッジの達成度を表す指標として、ｒｉを導入する。但し、
【００５２】
【数１】
2011242470.tif 000003
【００５３】
であり、ｄｉｊ（Ｔ）は、品質劣化の許容範囲内の変形によってｖｉｊの基本周波数及び音韻継続時間長を実現できるような波形素片が発声用テキストセット候補Ｔに含まれるとき１、そうでないとき０をとる関数とする。
【００５４】
発声用テキストセット候補Ｔに含まれる音声素片のカバレッジの総和は
【００５５】
【数２】
2011242470.tif 000004
【００５６】
であり、同一の音声素片に属する音韻継続時間長や基本周波数パタンの間では、音韻継続時間長や基本周波数パタンの出現頻度が高いものほど被覆の良さを測る評価規準への寄与が大きくなる。これを評価関数として用いてもよい。さらに、音素環境の広がりと基本周波数パタン、音声素片継続時間長の広がりの間の重みを調整するメカニズムとして、非線形関数等を導入しても良い（非特許文献２参照）。
【００５７】
（終了判定部２６０）
終了判定部２６０は、終了条件を満たすか否かを判定し（ｓ２６０）、終了判定結果を発声用テキストセット候補作成部２１０に送信する。終了条件とは、例えば、交換を試みた文数が所定の値に達していることや、評価関数の大きさが所定の値以上であること等である。
【００５８】
［繰り返し処理］
発声用テキストセット候補作成部２１０は、評価結果と終了判定結果を受信し、終了判定結果が終了条件を満たすことを意味する場合には（ｓ２６０）、その時点の発声用テキストセット候補を発声用テキストセットとして出力する（ｓ３１５）。終了判定結果が終了条件を満たしていないことを意味する場合には（ｓ２６０）、新たな発声用テキストセット候補を作成し（ｓ２１０）、処理（ｓ２１０〜ｓ２６０）を繰り返す。
【００５９】
なお、新たな発声用テキストセット候補は、大量日本語ＤＢ２１１から任意の１文を取り出し、発声用テキストセット候補中の任意の１文と交換することによって作成してもよい。この場合、任意の１文を交換した発声用テキストセット候補と、交換していない発声用テキストセット候補とを、記憶部２０３に記憶しておき、評価部２５０の評価結果に従って、評価の低い発声用テキストセット候補を削除する構成としてもよい。２週目以降の各処理は、差分のみを処理すればよいため、効率的に処理することができる。
【００６０】
＜プログラム＞
なお、上述した発声用テキストセット作成装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置（実施例で図に示した機能構成をもつ装置）として機能させるためのプログラム、または、その処理手順（実施例で示したもの）の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
【００６１】
＜効果＞
本発明では、Ｘ口調毎に、朗読口調との間に生じ易い発声の差分を予め抽出し、パタン化しておき、その発声差分に応じて音韻列や韻律特徴のカバレッジが最大になるように、発声用テキストセットを補正することで、朗読口調以外の口調で発声した場合でもカバレッジが最大化できるようにする。本発明により作成された発声用テキストセットを用いて、発声者が発声し、その自然音声データに基づいて音声素片ＤＢを構築することで、Ｘ口調における合成音声の劣化を防ぐことができる。
【００６２】
［変形例］
発声用テキストセット１０００は、変換関数作成部１００を有さずともよい。例えば、他の装置で作成した各変換関数を、記憶部２０３に記憶してもよい。
【００６３】
発声用テキストセット１０００は、３つのパラメータ分布（素片分布、継続長分布、Ｆ０分布）を変換対象としているが、少なくとも１つを変換対象とすればよい。推定精度が落ちるが、データ量、計算量を減らすことができる。また、前記の３つのパラメータ分布以外のパラメータ分布を変換対象としてもよい。
【００６４】
実施例１では、非特許文献２記載の方法を用いて、発声用テキストセット候補を評価したが、他の既存技術を用いて評価してもよい。
【産業上の利用可能性】
【００６５】
本発明は、音声合成用音声素片ＤＢを構築する際に、発声者が読み上げるテキストセットを作成する際に利用することができる。本発明の発話用テキストセット作成装置１０００により作成されたテキストセットをＸ口調で発声者が読み上げることで、Ｘ口調における音韻列及び韻律特徴のカバレッジを最大化した音声合成用音声素片ＤＢを構築することができ、そのＤＢを用いることで、Ｘ口調における高品質の合成音声を可能とする。
【符号の説明】
【００６６】
１０００  発声用テキストセット作成装置
１００  変換関数作成部
１０１  入出力インタフェース部
１１０  自然音声ＤＢ
１１１  音韻ラベリング部
１２０  第１パラメータ分布抽出部
１３０  パラメータ分布変換関数算出部
２００  テキストセット作成部
２０３  記憶部
２１０  発話用テキストセット候補作成部
２２０  第２パラメータ分布抽出部
２３０  パラメータ分布変換部
２３４  素片分布変換関数ＤＢ
２３６  継続長分布変換関数ＤＢ
２３８  Ｆ０分布変換関数ＤＢ
２５０  評価部
２６０  終了判定部
【図１】
2011242470.tif 000005
【図２】
2011242470.tif 000006
【図３】
2011242470.tif 000007
【図４】
2011242470.tif 000008
【図５】
2011242470.tif 000009
【図６】
2011242470.tif 000010
【図７】
2011242470.tif 000011