(57)【要約】【課題】より人間の発声に近く、自然性の高い韻律パタンを、少ない計算量で生成する。【解決手段】初期韻律パタンおよび音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差を正規化パラメータとして正規化パラメータ生成部４２で生成し、正規化パラメータに従って初期韻律パタンの変動範囲または変動幅を韻律パタン正規化部４４で正規化する。これにより、より人間の発声に近く、自然性の高い韻律パタンを少ない計算量で生成することができる。【選択図】        図４
2008242317.tif 000002
【特許請求の範囲】
【請求項１】
音声データを構成する音素や音節、単語などの単位で韻律情報がモデル化された韻律モデルと言語情報とから初期韻律パタンを生成する初期韻律パタン生成部と、
前記初期韻律パタンおよび音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差を正規化パラメータとして生成する正規化パラメータ生成部と、
前記正規化パラメータを記憶する正規化パラメータ記憶部と、
前記初期韻律パタンの変動範囲または変動幅を、前記正規化パラメータに従って正規化する韻律パタン正規化部と、
を備えることを特徴とする韻律パタン生成装置。
【請求項２】
前記正規化パラメータ生成部で生成される前記正規化パラメータは、音の属性ごとに異なる値を持つ、
ことを特徴とする請求項１記載の韻律パタン生成装置。
【請求項３】
韻律とは、基本周波数である、
ことを特徴とする請求項１または２記載の韻律パタン生成装置。
【請求項４】
前記韻律モデルは、ＨＭＭ（Hidden Markov Model：隠れマルコフモデル）である、
ことを特徴とする請求項１ないし３のいずれか一記載の韻律パタン生成装置。
【請求項５】
音声データを構成する音素や音節、単語などの単位で韻律情報がモデル化された韻律モデルを記憶する韻律モデル記憶部と、
入力されたテキストを解析して言語情報を出力するテキスト解析部と、
前記言語情報から、喋り方の特徴を決める韻律パタンを、前記韻律モデルを利用して生成する請求項１ないし４のいずれか一記載の韻律パタン生成装置と、
前記韻律パタンを用いて音声を合成する音声合成部と、
を備えることを特徴とする音声合成装置。
【請求項６】
音声データを構成する音素や音節、単語などの単位で韻律情報がモデル化された韻律モデルと言語情報とから初期韻律パタンを生成する初期韻律パタン生成機能と、
前記初期韻律パタンおよび音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差を正規化パラメータとして生成する正規化パラメータ生成機能と、
前記正規化パラメータを記憶部に記憶する正規化パラメータ記憶機能と、
前記初期韻律パタンの変動範囲または変動幅を、前記正規化パラメータに従って正規化する韻律パタン正規化機能と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項７】
音声データを構成する音素や音節、単語などの単位で韻律情報がモデル化された韻律モデルと言語情報とから初期韻律パタンを生成する初期韻律パタン生成工程と、
前記初期韻律パタンおよび音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差を正規化パラメータとして生成する正規化パラメータ生成工程と、
前記正規化パラメータを記憶部に記憶する正規化パラメータ記憶工程と、
前記初期韻律パタンの変動範囲または変動幅を、前記正規化パラメータに従って正規化する韻律パタン正規化工程と、
を含むことを特徴とする韻律パタン生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、韻律パタン生成装置、音声合成装置、プログラムおよび韻律パタン生成方法に関する。
【背景技術】
【０００２】
近年、音声認識で用いられるＨＭＭ（Hidden Markov Model：隠れマルコフモデル）を、テキストから音声を合成する音声合成技術に用いるという手法が注目されている。より具体的には、喋り方の特徴を決める韻律パタン（基本周波数パタン、音素継続時間長パタン）をＨＭＭである韻律モデルを利用して生成し（例えば、非特許文献１参照）、音声を合成するというものである。
【０００３】
このようなＨＭＭ自身から音声パラメータを出力して音声を合成する音声合成技術によれば、多様な話者性、発話スタイルを容易に実現することができる。
【０００４】
また、上述したようなＨＭＭに基づく基本周波数パタンの生成においては、文全体の基本周波数値の分散の分布を考慮してパタンを生成することにより、基本周波数パタンの自然性を向上させる手法が提案されている（例えば、非特許文献２参照）。
【０００５】
【非特許文献１】T. Yoshimura, K. Tokuda, T. Masuko, T. Kobayashi, T. Kitamura, “Simultaneous modeling of spectrum, pitch and duration in HMM-based speech synthesis,” Proc. EUROSPEECH '99, pp.2347-2350, Sept. 1999.
【非特許文献２】T. Toda, K. Tokuda, “Speech parameter generation algorithm considering global variance for HMM-based speech synthesis,” Proc. INTERSPEECH 2005, pp.2801-2804, Sept. 2005.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献２で提案されている手法によれば、繰り返しアルゴリズムを用いて最適なパラメータ列を探索しているため、基本周波数パタン生成時の計算量が多くなる、という問題がある。
【０００７】
また、非特許文献２で提案されている手法によれば、テキスト文全体の基本周波数値の分散を用いているため、文節などの単位で逐次的にパタンを生成することができず、テキスト文全体の基本周波数パタンが生成されるまで音声を出力できない、という問題がある。
【０００８】
本発明は、上記に鑑みてなされたものであって、より人間の発声に近く、自然性の高い韻律パタンを、少ない計算量で生成することを目的とする。
【０００９】
また、本発明は、音素や単語、文節などの単位で逐次的に音声を出力することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明の韻律パタン生成装置は、音声データを構成する音素や音節、単語などの単位で韻律情報がモデル化された韻律モデルと言語情報とから初期韻律パタンを生成する初期韻律パタン生成部と、前記初期韻律パタンおよび音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差を正規化パラメータとして生成する正規化パラメータ生成部と、前記正規化パラメータを記憶する正規化パラメータ記憶部と、前記初期韻律パタンの変動範囲または変動幅を、前記正規化パラメータに従って正規化する韻律パタン正規化部と、を備える。
【００１１】
また、本発明の音声合成装置は、音声データを構成する音素や音節、単語などの単位で韻律情報がモデル化された韻律モデルを記憶する韻律モデル記憶部と、入力されたテキストを解析して言語情報を出力するテキスト解析部と、前記言語情報から、喋り方の特徴を決める韻律パタンを、前記韻律モデルを利用して生成する請求項１ないし４のいずれか一記載の韻律パタン生成装置と、前記韻律パタンを用いて音声を合成する音声合成部と、を備える。
【００１２】
また、本発明のプログラムは、音声データを構成する音素や音節、単語などの単位で韻律情報がモデル化された韻律モデルと言語情報とから初期韻律パタンを生成する初期韻律パタン生成機能と、前記初期韻律パタンおよび音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差を正規化パラメータとして生成する正規化パラメータ生成機能と、前記正規化パラメータを記憶部に記憶する正規化パラメータ記憶機能と、前記初期韻律パタンの変動範囲または変動幅を、前記正規化パラメータに従って正規化する韻律パタン正規化機能と、をコンピュータに実行させる。
【００１３】
また、本発明の韻律パタン生成方法は、音声データを構成する音素や音節、単語などの単位で韻律情報がモデル化された韻律モデルと言語情報とから初期韻律パタンを生成する初期韻律パタン生成工程と、前記初期韻律パタンおよび音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差を正規化パラメータとして生成する正規化パラメータ生成工程と、前記正規化パラメータを記憶部に記憶する正規化パラメータ記憶工程と、前記初期韻律パタンの変動範囲または変動幅を、前記正規化パラメータに従って正規化する韻律パタン正規化工程と、を含む。
【発明の効果】
【００１４】
本発明によれば、初期韻律パタンおよび音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差を正規化パラメータとして生成し、正規化パラメータに従って初期韻律パタンの変動範囲または変動幅を正規化することにより、より人間の発声に近く、自然性の高い韻律パタンを少ない計算量で生成することができる、という効果を奏する。
【００１５】
また、本発明によれば、初期韻律パタンおよび音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差である正規化パラメータは初期韻律パタンに依存しないため、サンプル点毎に処理を行うことができ、音素や単語、文節などの単位で逐次的に音声を出力することができる、という効果を奏する。
【発明を実施するための最良の形態】
【００１６】
以下に添付図面を参照して、この発明にかかる韻律パタン生成装置、音声合成装置、プログラムおよび韻律パタン生成方法の最良な実施の形態を詳細に説明する。
【００１７】
本発明の実施の一形態を図１ないし図５に基づいて説明する。図１は、本発明の実施の一形態にかかる音声合成装置１のハードウェア構成を示すブロック図である。本実施の形態の音声合成装置１は、概略的には、ＨＭＭ（Hidden Markov Model：隠れマルコフモデル）を用いてテキストから音声を合成する音声合成処理を行なうものである。
【００１８】
図１に示すように、音声合成装置１は、例えばパーソナルコンピュータであり、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Central Processing Unit）２を備えている。このＣＰＵ２には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３と、各種データを書換え可能に記憶するＲＡＭ（Random Access Memory）４とがバス５で接続されている。
【００１９】
さらにバス５には、各種のプログラム等を格納するＨＤＤ（Hard Disk Drive）６と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてＣＤ（Compact Disc）−ＲＯＭ７を読み取るＣＤ−ＲＯＭドライブ８と、音声合成装置１とネットワーク９との通信を司る通信制御装置１０と、各種操作指示を行うキーボードやマウスなどの入力装置１１と、各種情報を表示するＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）などの表示装置１２とが、図示しないＩ／Ｏを介して接続されている。
【００２０】
ＲＡＭ４は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ２の作業エリアとして機能してバッファ等の役割を果たす。
【００２１】
図１に示すＣＤ−ＲＯＭ７は、この発明の記憶媒体を実施するものであり、ＯＳ（Operating System）や各種のプログラムが記憶されている。ＣＰＵ２は、ＣＤ−ＲＯＭ７に記憶されているプログラムをＣＤ−ＲＯＭドライブ８で読み取り、ＨＤＤ６にインストールする。
【００２２】
なお、記憶媒体としては、ＣＤ−ＲＯＭ７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置１０を介してインターネットなどのネットワーク９からプログラムをダウンロードし、ＨＤＤ６にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００２３】
このシステム全体の動作を制御するＣＰＵ２は、このシステムの主記憶として使用されるＨＤＤ６上にロードされたプログラムに基づいて各種処理を実行する。
【００２４】
次に、音声合成装置１のＨＤＤ６にインストールされている各種のプログラムがＣＰＵ２に実行させる機能のうち、本実施の形態の音声合成装置１が備える特長的な機能について説明する。
【００２５】
図２は、音声合成装置１の機能構成を示すブロック図である。図２に示すように、音声合成装置１は、音声合成プログラムに従うことにより、学習部２１と、合成部２２とを備えている。以下において、学習部２１および合成部２２について、簡単に説明する。
【００２６】
学習部２１は、韻律モデル学習部３１と韻律モデル記憶部３２とを備えている。韻律モデル学習部３１は、韻律モデル（ＨＭＭ）のモデルパラメータの学習を行う。学習データとしては、音声データとその音素ラベル列および言語情報が必要である。韻律モデル（ＨＭＭ）は、図３に示すように、出力ベクトルｏｔを出力する確率分布がｂｉ（ｏｔ）であるような信号源（状態）が状態遷移確率ａｉｊ＝Ｐ（ｑｔ＝ｊ｜ｑｔ−１＝ｉ）をもって接続されたものとして定義される。ただし、ｉ，ｊは、状態番号とする。出力ベクトルｏｔは、音声の短時間的なスペクトルおよび基本周波数を表現するパラメータである。このようなＨＭＭは、時間方向とパラメータ方向の変動を統計的にモデル化したものであり、様々な要因で変動する音声のパラメータ系列の表現として適している。基本周波数のモデル化には、他空間確率分布が用いられる。なお、ＨＭＭのモデルパラメータの学習については、公知の技術であるため、詳細な説明は省略する。このようにして韻律モデル学習部３１においては、音声データを構成する各音素のパラメータ列がモデル化された韻律モデル（ＨＭＭ）が生成され、韻律モデル記憶部３２に記憶される。
【００２７】
合成部２２は、テキスト解析部３３と、韻律パタン生成装置である韻律パタン生成部３４と、音声合成部３５とを備えている。テキスト解析部３３は、入力された日本語テキストを解析して言語情報を出力する。韻律パタン生成部３４は、テキスト解析部３３で解析された言語情報から、喋り方の特徴を決める韻律パタン（基本周波数パタン、音素継続時間長パタン）を、韻律モデル記憶部３２に記憶されている韻律モデル（ＨＭＭ）を利用して生成する。なお、韻律パタンの生成は、例えば非特許文献１記載の手法を用いることができる。音声合成部３５は、韻律パタン生成部３４で生成した韻律パタンに基づいて音声を合成して、合成音声を出力する。
【００２８】
次に、本実施の形態の音声合成装置１における特徴的な機能を発揮する韻律パタン生成部３４について詳述する。
【００２９】
図４は、韻律パタン生成部３４の機能構成を示すブロック図である。図４に示すように、韻律パタン生成部３４は、初期韻律パタン生成部４１と、正規化パラメータ生成部４２と、正規化パラメータ記憶部４３と、韻律パタン正規化部４４とを備えている。
【００３０】
初期韻律パタン生成部４１は、韻律モデル記憶部３２に記憶されている韻律モデル（ＨＭＭ）と言語情報（テキスト解析部３３から与えられた言語情報、または、正規化パラメータ学習用の言語情報）とから初期韻律パタンを生成する。
【００３１】
正規化パラメータ生成部４２は、正規化パラメータ学習用の音声コーパスを用いて、初期韻律パタンを正規化するための正規化パラメータを生成する。音声コーパスは、事前に収録した音声波形を音素毎に切り分け、各々に特徴付けたデータベースである。図５は、正規化パラメータの生成処理の流れを示すフローチャートである。図５に示すように、正規化パラメータ生成部４２は、初期韻律パタン生成部４１から正規化パラメータ学習用の言語情報に基づいて生成された初期韻律パタンを受け取る（ステップＳ１）。次いで、正規化パラメータ学習用の言語情報に対応する正規化パラメータ学習用の音声コーパスの学習文韻律パタンを抽出する（ステップＳ２）。なお、音声コーパスの学習文と学習用の言語情報とは完全一致してなくとも良い。続くステップＳ３では、正規化パラメータを生成する。正規化パラメータは、ステップＳ１で受け取った初期韻律パタンおよびステップＳ２で抽出した言語情報に対応する正規化パラメータ学習用の音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差である。
【００３２】
正規化パラメータ記憶部４３は、正規化パラメータ生成部４２で生成した正規化パラメータを記憶する。
【００３３】
韻律パタン正規化部４４は、韻律モデル記憶部３２に記憶されている韻律モデル（ＨＭＭ）と言語情報（テキスト解析部３３から与えられた言語情報）とから初期韻律パタン生成部４１で生成された初期韻律パタンの変動範囲または変動幅を、正規化パラメータ記憶部４３に記憶されている正規化パラメータに従って正規化する。つまり、韻律パタン正規化部４４は、初期韻律パタン生成部４１により生成された初期韻律パタンの変動範囲または変動幅を、音声コーパスの学習文韻律パタンの変動範囲または変動幅と同等となるように正規化する。
【００３４】
ここで、正規化について詳述する。初期韻律パタンの変動範囲を正規化する場合には、下記式を用いて正規化が行われる。
Ｆ（ｎ）＝（ｆ（ｎ）−ｍｇ）／σｇ×σｔ＋ｍｔ
ただし、
ｆ（ｎ）：ｎ番目のサンプル点の初期韻律パタンの値
Ｆ（ｎ）：正規化後の韻律パタンの値
ｍｔ     ：学習文韻律パタンの平均
σｔ     ：学習文韻律パタンの標準偏差
ｍｇ     ：初期韻律パタンの平均
σｇ     ：初期韻律パタンの標準偏差
【００３５】
一方、初期韻律パタンの変動幅を正規化する場合には、下記式を用いて正規化が行われる。
Ｆ（ｎ）＝（ｆ（ｎ）−ｍｇ）／σｇ×σｔ＋ｍｇ
【００３６】
ここで、正規化のためのパラメータであるｍｔ、σｔ、ｍｇおよびσｇは、音の属性ごと（例えば、音素やモーラ、アクセント句など）に異なる値を持つこともできる。この場合には、サンプル点ごとに正規化パラメータが滑らかに変化するように、直線補間などの方法を用いて平滑化を行う。
【００３７】
このように本実施の形態によれば、初期韻律パタンおよび音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差を正規化パラメータとして生成し、正規化パラメータに従って初期韻律パタンの変動範囲または変動幅を正規化することにより、より人間の発声に近く、自然性の高い韻律パタンを少ない計算量で生成することができる。
【００３８】
また、初期韻律パタンおよび音声コーパスの学習文韻律パタンについてのそれぞれの平均と標準偏差である正規化パラメータは初期韻律パタンに依存しないため、サンプル点毎に処理を行うことができ、音素や単語、文節などの単位で逐次的に音声を出力することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の一形態にかかる音声合成装置のハードウェア構成を示すブロック図である。
【図２】音声合成装置の機能構成を示すブロック図である。
【図３】ＨＭＭの一例を示す模式図である。
【図４】韻律パタン生成部の機能構成を示すブロック図である。
【図５】正規化パラメータの生成処理の流れを示すフローチャートである。
【符号の説明】
【００４０】
１      音声合成装置
３２      韻律モデル記憶部
３３      テキスト解析部
３４      韻律パタン生成装置
３５      音声合成部
４１      初期韻律パタン生成部
４２      正規化パラメータ生成部
４３      正規化パラメータ記憶部
４４      韻律パタン正規化部
【図１】
2008242317.tif 000003
【図２】
2008242317.tif 000004
【図３】
2008242317.tif 000005
【図４】
2008242317.tif 000006
【図５】
2008242317.tif 000007