(57)【特許請求の範囲】
【請求項１】
複数の話者に関する音声波形データを保存した音声合成用データベースと、
前記音声合成用データベースに保存されたいずれかの話者の音素波形データから音声基本周波数パターンを表現するパラメータのうち話者に依存する特徴を抽出する手段と、
前記音声合成用データベースから対象文字に対応する音素波形を選択して接続する音素結合手段と、
前記特徴を用いて対象文字に対応する音声を合成する際の目標となる韻律を生成する目標韻律生成手段と、
前記目標韻律生成手段で生成された目標韻律に基づいて前記音素結合手段で生成された合成音声を補正する手段と
を備えた音声合成装置。
【請求項２】
前記音声合成用データベースは、前記音声波形データとその内容に対応する音素の文字データ、音素毎のセグメント、各音素の韻律特徴パラメータを保持することを特徴とする、請求項１に記載の音声合成装置。
【請求項３】
前記特徴を抽出する手段は、話者の音素波形データから音声基本周波数パターンを表現する下記の数式
0003785892.tif 000004
に用いられているパラメータＡpi、Ａaj及びＦminを前記特徴として抽出することを特徴とする、請求項１に記載の音声合成装置。
【請求項４】
前記目標韻律生成手段は、前記パラメータに基づいて音声基本周波数パターンを生成する過程と、音素継続時間長を算出する過程とからなることを特徴とする、請求項１に記載の音声合成装置。
【請求項５】
前記目標韻律生成手段は、各話者の音声データベース中の各音素持続時間長の平均値を用いて、合成対象となる音素の持続時間長を算出することを特徴とする、請求項１に記載の音声合成装置。
【請求項６】
前記合成音声を補正する手段は、前記音素結合手段により生成された合成音声の韻律と前記目標韻律生成手段により生成された目標韻律とを比較し、両韻律が一致しない場合に合成音声の補正を行うことを特徴とする、請求項１に記載の音声合成装置。
【請求項７】
前記合成音声を補正する手段は、選択された話者に応じた前記特徴を用いて、合成音声の韻律を補正するものであることを特徴とする、請求項１に記載の音声合成装置。
【請求項８】
前記音素結合手段により作成された合成音声または前記合成音声を補正する手段によって補正された合成音声を音声波形として保存する保存部を備えたことを特徴とする、請求項１に記載の音声合成装置。
【請求項９】
表示装置により表示された前記目標韻律または実際に選択された音素の韻律を操作して韻律を任意に変更させる韻律操作部を備えたことを特徴とする、請求項１に記載の音声合成装置。
【請求項１０】
音声合成用データベースに保存された話者の音素波形データから音声基本周波数パターンを表現するパラメータのうち話者に依存する特徴を抽出する手段、音声合成用データベースから対象文字に対応する音素波形を選択して接続する音素結合手段、前記特徴を用いて対象文字に対応する音声を合成する際の目標となる韻律を生成する目標韻律生成手段、および前記目標韻律生成手段で生成された目標韻律に基づいて前記音素結合手段で生成された合成音声を補正する手段としてコンピュータを機能させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力テキストなどから音声メッセージを作成し、それを編集して発話させるための音声合成装置及び記録媒体に関する。
【０００２】
【背景技術】
従来の音声メッセージ作成・編集装置は、音声合成の方式に規則合成や波形重畳を用いている。これら方式によって作成された合成音声では、韻律は自然であるが、声質（人間の声らしいさの程度）が電子的で不自然であるという問題点がある。また、これらの方式では合成音声の声質を変更することが困難であり、声による差異化ないし個性化を行うことができない。
【０００３】
上記問題点を解決するため、音声素片接続型の音声合成方法（特開平１０−４９１９３号）が提案されている。この方法では、発話させたい言語の標準テキストを話者（モデル）に読み上げてもらって録音しておき、この自然発話の録音音声波形を音声素片（以下、音素という）単位に分割し、当該言語における音素を網羅した音素部品データベースを作っておく。そして、合成音声を出力するときには、読み上げたいテキストに合わせて音素部品を再結合する。この音素部品データベースを用いることにより、読み上げた人の肉声に近い合成音声を得ることができる。
【０００４】
音素接続により合成された音声は、声質が肉声に近くて自然であり、しかも、合成時に使用する音素部品データベースを変更することで、複数の話者で合成音声を作成することができる。しかし、この音素接続型の音声合成方法では、合成音声の韻律（音声の長短やアクセントの位置）が不自然になるという問題点がある。
【０００５】
また、音声の韻律を変更する手段として、音声ピッチ変換方法（特許第２６１２８６７号）、音声の発声速度変換方法（特許第２６１２８６８号）がある。これらの方法によれば、教師となる波形に修正したい波形を合わせ込む、あるいは、修正したい波形を手動で操作することで任意の韻律に変更することができる。
【０００６】
しかしながら、前者の方法は、生徒の録音音声と教師の録音音声とを比較し、生徒の録音音声の波形を教師の録音音声の波形に合わせて変換するというものであり、与えられた任意のテキストを音声合成して電子的に読み上げるといった用途では、教師となる録音音声もしくは波形をすべての場合について用意しておくことは不可能である。また、音声認識等と組み合わせて、リアルタイムで合成音声を作成する場合には、手動で波形を操作して韻律の修正を行うということも不可能である。
【０００７】
音声合成に関する現状は、上記のようなところにあり、音声メッセージ作成・編集装置やテキスト読み上げ装置などに用いられる音声合成において、声質の自然さと韻律の自然さとを両立させるのはきわめて困難であった。
【０００８】
また、複数話者の音素部品データベースを用いる場合には、話者が切り替わった時には、その話者の個性ないし特徴が影響して合成音声が滑らかで無くなったり、不自然になったりすることがあった。
【０００９】
【発明の開示】
本発明は上記の従来技術に鑑みてなされたものであり、その目的とするところは、自然な声質と滑らかさ、特に自然な声質と韻律で音声メッセージを作成することができる音声合成装置を提供することにある。
【００１０】
本発明にかかる音声合成装置は、複数の話者に関する音声波形データを保存した音声合成用データベースと、前記音声合成用データベースに保存されたいずれかの話者の音素波形データから音声基本周波数パターンを表現するパラメータのうち話者に依存する特徴を抽出する手段と、前記音声合成用データベースから対象文字に対応する音素波形を選択して接続する音素結合手段と、前記特徴を用いて対象文字に対応する音声を合成する際の目標となる韻律を生成する目標韻律生成手段と、前記目標韻律生成手段で生成された目標韻律に基づいて前記音素結合手段で生成された合成音声を補正する手段とを備えたものである。
【００１１】
音素を接続することによって生成された合成音声は声質が自然であるという特徴がある。さらに、この音声合成装置によれば、話者に応じた特徴を抽出し、その特徴を用いて合成音声を補正しているので、複数の話者を切り替えて合成音声を作成する際、異なる話者の音素音声合成用データベースに切り替わっても、選択された話者の音素波形の特徴に応じて合成音声が補正されるので、自然な声質と滑らかさで合成音声を発生させることができる。
【００１２】
本発明の実施形態における前記音声合成用データベースは、前記音声波形データとその内容に対応する音素の文字データ、音素毎のセグメント、各音素の韻律特徴パラメータを保持する。
また、本発明の別な実施形態における前記特徴を抽出する手段は、話者の音素波形データから音声基本周波数パターンを表現する下記の数式
0003785892.tif 000002
に用いられているパラメータＡpi、Ａaj及びＦminを前記特徴として抽出するものである。
【００１３】
本発明のさらに別な実施形態における前記目標韻律生成手段は、前記パラメータに基づいて音声基本周波数パターンを生成する過程と、音素継続時間長を算出する過程とからなる。
また、本発明のさらに別な実施形態における前記目標韻律生成手段は、各話者の音声データベース中の各音素持続時間長の平均値を用いて、合成対象となる音素の持続時間長を算出するものである。
本発明のさらに別な実施形態における前記合成音声を補正する手段は、前記音素結合手段により生成された合成音声の韻律と前記目標韻律生成手段により生成された目標韻律とを比較し、両韻律が一致しない場合に合成音声の補正を行うことを特徴とする。
また、前記合成音声を補正する手段は、選択された話者に応じた前記特徴を用いて、合成音声の韻律を補正するものである。
【００１４】
本発明のさらに別な実施形態は、前記音素結合手段により作成された合成音声または前記合成音声を補正する手段によって補正された合成音声を音声波形として保存する保存部を備えている。
また、本発明のさらに別な実施形態は、表示装置により表示された前記目標韻律または実際に選択された音素の韻律を操作して韻律を任意に変更させる韻律操作部を備えている。
【００１５】
上記のような各実施形態も、選択された話者に応じて自然な声質と韻律で音声を合成させることが可能になる。
【００１６】
また、本発明にかかる記録媒体は、音声合成用データベースに保存された話者の音素波形データから音声基本周波数パターンを表現するパラメータのうち話者に依存する特徴を抽出する手段、音声合成用データベースから対象文字に対応する音素波形を選択して接続する音素結合手段、前記特徴を用いて対象文字に対応する音声を合成する際の目標となる韻律を生成する目標韻律生成手段、および前記目標韻律生成手段で生成された目標韻律に基づいて前記音素結合手段で生成された合成音声を補正する手段としてコンピュータを機能させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体である。このような記録媒体としては、通常はＣＤやＤＶＤ、ＭＯなどの形態で実現される。
【００１７】
このような記録媒体に納められているプログラムを実行することにより、話者に応じた特徴を抽出し、その特徴を用いて音素接続による合成音声を補正しているので、異なる話者の音素音声合成用データベースに切り替わっても、自然な声質と滑らかさで合成音声を発生させることができる。
また、この記録媒体でも、前記補正手段が、選択された話者に応じた前記特徴を用いて、合成音声の韻律を補正するものであれば、選択された話者に応じて自然な声質と韻律で音声を合成させることが可能になる。
【００１８】
【発明の実施の形態】
図１は本発明の一実施形態による音声合成装置１の構成を示す図である。この音声合成装置１は、音声合成用データベース２Ａ，２Ｂ、…、話者データベース選択部３、データベース特徴量計算部４、藤崎モデルパラメータ算出部５、テキスト読み込み部６、音素列変換部７、目標韻律生成部８、音素結合部９、韻律表示部１０、韻律補正部１１、合成音声出力部１２、保存部１３から構成されている。また、必要に応じて、韻律操作部１４が設けられる。この音声合成装置１は、ＣＤ等の記録媒体に納められた、コンピュータ上で動作するプログラムとして、あるいはＣＤやハードディスク等の記録媒体に該プログラムを格納したコンピュータシステムとして、あるいは専用装置として構成される。図２（ａ）はコンピュータ上の画面表示（ユーザーインターフェイス）を表している。この表示画面（親ウィンドウ）２１内には、入力されたテキストを表示するテキスト表示ウィンドウ２２、テキストから変換された音素表記を表示する音素表記表示ウィンドウ２３、韻律表示ウィンドウ２４、操作パネル２５内に設けられた話者選択用のコンボボックス２６、発話ボタン２７及び波形保存ボタン２８などが配置されている。図２（ｂ）は話者選択用のコンボボックス２６を開いた様子を表している。以下、図１及び図２（ａ）（ｂ）により、この音声合成装置１を説明する。
【００１９】
音声合成用データベース２Ａ，２Ｂ、…は、音声を合成する元になる音声波形、音声波形とその内容に対応する音素の文字データ、音素毎のセグメント、各音素の韻律特徴パラメータを保持したデータベースであって、予めハードディスクなどの記憶媒体に格納されている。音声合成用データベース２Ａ，２Ｂ、…は、異なる話者毎にそれぞれ用意されている。
【００２０】
話者データベース選択部３は、登録済みの複数の音声合成用データベース２Ａ，２Ｂ、…から、音声合成に用いる話者を選択する。すなわち、図２（ｂ）のように話者選択用のコンボボックス２６には種々なタイプの話者が登録されており、画面の話者選択用のコンボボックスを開いて話者を選択すると、当該話者の音声合成用データベース２Ａ，２Ｂ、…が話者データベース選択部３により選択される。
【００２１】
データベース特徴量計算部４は、いずれかの話者の音声合成用データベース２Ａ，２Ｂ、…（以下、選択された音声合成用データベースを選択データベース２ということがある。）が選択又は指定されると、該選択データベース２の音声波形について特徴量を算出する。すなわち、選択データベース２から抽出した音声波形中の有声区間について、一定窓幅で自己相関を取ることにより各窓の基本周波数を算出し、各窓ごとの基本周波数について特徴量として平均値(ｆo)meanと標準偏差(ｆo)stdを算出する。
【００２２】
藤崎モデルパラメータ算出部５は、選択データベース２に格納されている話者の音声周波数特徴量を用い、各話者に応じた藤崎モデルのパラメータを算出する。藤崎モデルとは、日本語の平叙文を読み上げる際の音声基本周波数パターンのモデルであって、次の(1)式で表される。ここで、Ａpi、Ａajは係数であって、pはフレーズ成分、aはアクセント成分を表わす。
【００２３】
【数１】
0003785892.tif 000003
【００２４】
藤崎モデルパラメータ算出部５は、このモデルの話者に依存するパラメータを上記データベース特徴量計算部４で求めた各話者の音声合成用データベース（選択データベース２）の特徴量を用いて決定する。上記藤崎モデル式（１）で、Ａpi、Ａaj、Ｆminが話者に依存するパラメータである。自然な合成音声を実現するには、選択データベース２の音声の特徴に合わせて、音声合成用データベース２Ａ，２Ｂ、…毎に、これらパラメータの値を変更する必要がある。従って、藤崎モデルパラメータ算出部５は、この３つのパラメータＡpi、Ａaj、Ｆminについて、話者の特徴量にあった値を決定する。
【００２５】
すなわち、藤崎モデルパラメータ算出部５は、話者の選択時に選択された音声合成用データベース２の基本周波数平均値(ｆo)meanと標準偏差(ｆo)stdを用い、当該データベース２にあった藤崎モデルのパラメータを次の(4)〜(6)式より算出する。
Ｆmin＝ln｛(ｆo)mean−(ｆo)std｝    …(4)
Ａpi＝0.3｛−0.42ln〔(ｆo)mean〕＋0.42ln〔(ｆo)std〕｝＋1.1    …(5)
Ａai＝0.7｛−0.42ln〔(ｆo)mean〕＋0.42ln〔(ｆo)std）｝＋1.1    …(6)
これによって音声合成用データベース２Ａ，２Ｂ、…のうち、選択されたデータベースの話者の特徴が藤崎モデルという形でモデル化される。
【００２６】
テキスト読み込み部６は、音声を合成して発話させようとする元の文（テキスト）をコンピュータのメモリ上に読み込む。テキストはパーソナルコンピュータのキーボードから入力され、あるいはインターネット等の回線を通じて送られてくるが、これらのテキストはコンピュータのメモリ上に読み込まれる。読み込まれたテキストは、かな漢字混じりテキストでテキスト表示ウィンドウ２２に表示される。
【００２７】
テキスト読み込み部６から入力されたかな漢字混じりテキストは、音素列変換部７により合成用の音素列に変換され、アクセント付きの音素表記として音素表記表示ウィンドウ２３に表示される。そして、操作パネル２５の発話ボタン２７を押すと、音声合成の処理が実行される。
【００２８】
目標韻律生成部８は、藤崎モデルパラメータ算出部５において決定された藤崎モデルのパラメータＡpi、Ａaj、Ｆminを用い、藤崎モデルを適用することによって音声合成時の目標となる韻律を生成する。目標韻律は音声基本周波数パターンと音素継続時間長とからなり、目標韻律生成部８も音声基本周波数パターンを生成する過程と、各音素の継続時間長を算出する過程とからなる。音声基本周波数パターンを生成する過程では、藤崎モデルパラメータ算出部５で決定された、Ａpi、Ａaj、Ｆminの３つのパラメータの値を実際に藤崎モデルの式(1)に適用し、音声合成時に目標として用いる音声基本周波数パターンを生成する。また、音素継続時間長を算出する過程では、各話者の音声データベース中の各音素継続時間長の平均値を用いて、合成対象となる音素の持続時間長を算出する。
【００２９】
音素結合部９は、キーボード等から入力された合成対象となるテキストに対して、目標韻律生成部８で生成した目標韻律（基本周波数パターン、音素継続時間長）をもとに選択データベース２から音素（音素波形）を選択し、それらを結像して合成音声を作成する。こうして作成された合成音声の韻律と目標音声の韻律とは、韻律表示部１０により韻律表示ウィンドウ２４にグラフィカルに表示される。
【００３０】
韻律補正部１１は、音素結合部９で生成された合成音声の韻律（音声基本周波数、音素継続時間長）と藤崎モデルに基づいて算出された目標韻律とを比較し、一致しない場合には合成音声波形の各音素を延長したり短縮したりして合成音声波形を目標値に合わせ込むように補正する。
【００３１】
合成音声出力部１２は、こうして作成された合成音声を出力する。例えば、出力された合成音声は増幅されてスピーカ等で音声に変換されたり、保存部１３や適宜記録媒体に保存される。
【００３２】
操作パネル２５の波形保存ボタン２８を押すと、あるいは自動的に、音素結合部９で作成された合成音声や韻律補正部１１によって補正された合成音声は音声波形として保存部１３に保存される。また、韻律操作部１４が設けられている場合には、韻律表示ウィンドウ２４に表示された目標韻律または実際に選択された音素の韻律を操作することにより、任意の韻律に変更することができる。
【００３３】
従って、この音声合成装置１によれば、複数の話者で合成音声を作成する場合に、選択された話者の特徴量を抽出して藤崎モデルによりモデル化することができる。そして、音声合成用データベースから抽出した音素を結合させて合成音声を作成した後、このモデルの韻律により合成音声の韻律を補正することができる。よって、この音声合成装置１によれば、音声用データベースのそれぞれの声質を保ったまま、韻律の自然な音声メッセージを作成することができる。
【００３４】
【発明の効果】
本発明の音声合成装置及び記録媒体によれば、自然な声質で滑らかな合成音声を得ることができる。特に、自然な声質と韻律で発声させることが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態による音声合成装置の構成を示す図である。
【図２】（ａ）は音声合成装置の表示画面を示す図、（ｂ）はその話者選択用のコンボボックスを開いた状態を示す図である。
【符号の説明】
２Ａ，２Ｂ、…      音声合成用データベース
３      話者データベース選択部
４      データベース特徴量計算部
５      藤崎モデルパラメータ算出部
８      目標韻律生成部
９      音素結合部
１１    韻律補正部
２２    テキスト表示ウィンドウ
２３    音素表記表示ウィンドウ
２４    韻律表示ウィンドウ
【図１】
0003785892.tif 000005
【図２】
0003785892.tif 000006