(57)【特許請求の範囲】
【請求項１】
テキスト情報で示される音韻列と韻律情報に対応して、音声データベースから音声素片データを選択して音声を合成する音声合成方法において、
前記音韻列と韻律情報に従って小規模のローカル音声データベースから音声素片データを選択し、
前記ローカル音声データベースから選択された音声素片データが予め定めた適合度を満足するかどうか判定し、
前記適合度を満足する場合には、前記ローカル音声データベースから選択された音声素片データをそのまま選択し、
前記適合度を満足しない場合には、ネットワークを介して遠隔地の音声データベースから、前記音韻列と韻律情報に従って適切な音声素片データをダウンロードし、
前記ローカル音声データベースから選択された音声素片データあるいは前記遠隔地の音声データベースからダウンロードされた音声素片データを用いて音声を合成する、
ことを特徴とする音声合成方法。
【請求項２】
請求項１記載の音声合成方法において、前記遠隔地の音声データベースからダウンロードされた音声素片データを、前記ローカル音声データベースに保存し、以後、前記保存された音声素片データを選択できるようにしたことを特徴とする音声合成方法。
【請求項３】
請求項１記載の音声合成方法において、前記遠隔地の音声データベースからダウンロードされた音声素片データを、前記ローカル音声データベースとは別の音声素片データ用キャッシュメモリに保存し、以後、前記ローカル音声データベースと前記音声素片データ用キャッシュメモリを用いて音声素片データを選択することを特徴とする音声合成方法。
【請求項４】
テキスト情報で示される音韻列と韻律情報に対応して、音声データベースから音声素片データを選択して音声を合成する音声合成装置において、
小規模の音声素片データを記憶するローカル音声データベースと、
前記音韻列と韻律情報に従って前記ローカル音声データベースから音声素片データを選択する手段と、
前記ローカル音声データベースから選択された音声素片データが予め定めた適合度を満足するかどうか判定する手段と、
前記適合度を満足する場合には、前記ローカル音声データベースから選択された音声素片データをそのまま選択する手段と、
前記適合度を満足しない場合には、ネットワークを介して遠隔地の音声データベースから、前記音韻列と韻律情報に従って適切な音声素片データをダウンロードする手段と、
前記ローカル音声データベースから選択された音声素片データあるいは前記遠隔地の音声データベースからダウンロードされた音声素片データを用いて音声を合成する手段と、
を有することを特徴とする音声合成装置。
【請求項５】
請求項１乃至３に記載の音声合成方法をコンピュータで実行するための音声合成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力テキストで示される音韻列と韻律情報に対応して、音声データベースから適切な音声片データを選択して順に接続することにより音声を合成する音声合成方法および装置、並びにそのプログラムに関するものである。
【０００２】
【従来の技術】
この種の音声合成技術においては、近年、大容量な記憶装置の使用コストの低下に伴って、数十分から数時間に及ぶ音声データをそのまま大容量の記憶装置に蓄積して、入力されたテキストで示される音韻列及び韻律情報に応じて最適の音声素片を選択し、それを適切に変形し接続することで、高品質な音声を合成する音声合成装置も提案されている（例えば、特許２７６１５５２号）。
【０００３】
このような音声合成装置では、入力テキストに対して高品質な合成音声を出力することが可能であるが、大容量の音声データとそれを格納する記憶装置が必要なため、搭載容量の限られた小型の携帯用電子機器（例えば、携帯情報端末（ＰＤＡ）や携帯電話等）に搭載するのは困難である。
【０００４】
また、クライアント・サーバ方式により、クライアントからサーバへテキストデータを送信し、サーバ側に装備した大容量のデータベースを利用して音声合成して、音声信号をクライアント側が受信する方式もあるが、その場合は送受信のために時間が掛かり、特に現状のインタネット等では合成音声の送信には問題がある。
【０００５】
【発明が解決しようとする課題】
本発明の第１の目的は、搭載容量の限られた携帯電子機器等においても大容量の音声データベースを利用するのと同様な高品質な音声合成の実現を可能とすることにある。
また、本発明の第２の目的は、携帯電子機器等でクライアント・サーバ方式によりサーバ側で音声合成し、音声信号を送受信する場合よりも、格段に応答時間を短縮することにある。
【０００６】
【課題を解決するための手段】
本発明は、端末側に小規模・小容量のローカル音声データベースを用意し、テキスト情報で示される音韻列と音律情報に従って該ローカル音声データベースから音声素片データを選択する。そして、このローカル音声データベースから選択された音声素片データが予め定めた適合度を満足するかどうか判定し、満足する場合には、該音声素片データをそのまま選択する。一方、ローカル音声データベースから音声素片データが選択されないか、選択されても適合度を満足しない場合には、ネットワークを介して遠隔地の大規模・大容量の音声データベースから、前記音韻列と韻律情報に従って適切な音声素片データをダウンロードする。このようにして、前記ローカル音声データベースから選択された音声素片データあるいは前記遠隔地の音声データベースからダウンロードされた音声素片データを用いて音声を合成する。これにより、端末側に大規模・大容量の音声データベースを搭載しなくても、高品質な音声合成が可能になる。
【０００７】
また、本発明では、遠隔地の音声データベースからダウンロードした音声素片データを、ローカル音声データベースに追記して保持するか、該ローカル音声データベースとは別の音声素片データ用キャッシュメモリに保持し、以後、このダウンロードした音声素片データを端末側で選択できるようにする。これにより、音声合成の応答時間の短縮も可能になる。
【０００８】
【発明の実施の形態】
以下、本発明の一実施の形態について図面を参照して説明する。
まず、図１に本発明の音声合成装置を利用したシステム全体の概念図を示す。図１において、ユーザ端末１はＰＤＡ、携帯電子、ＰＨＳなどの総称である。該ユーザ端末１には、小規模・小容量のローカル音声データベース１２０を内蔵した音声合成装置（例えば音声合成モジュール）１００が搭載されている。一方、センタ３側には大規模・大容量の音声データベース５が設置されている。ユーザは、受信メール、その他、テキスト情報を音声で聴く場合、音声合成装置１００を利用する。音声合成装置１００は、テキスト情報を入力し、その音韻列と韻律情報に従ってローカル音声データベース１２０から音声素片データを選択して音声を合成する。この音声合成の実行中に、センタ３から、音声素片データのダウンロードが必要になった場合、ネットワーク２を介して、ユーザ端末１をセンタ３に接続する。ユーザ端末１とセンタ３の間をネットワーク２を介して接続する方法として、例えばネットワーク２としてインターネットを利用するのであれば、携帯電話やＰＨＳのパケット通信網を利用した接続方法があり、ネットワーク２としてＬＡＮを利用するのであれば無線ＬＡＮを利用した接続方法などがある。ユーザ端末１は、必要な音声素片データのリクエストをセンタ３側の受付けサーバ４に送信する。受付けサーバ４は、ＬＡＮで接続された大容量データベース５を利用して音声素片データの検索を行い、検索した最適な音声素片データをリクエスト元であるユーザ端末１に送信する。ユーザ端末１の音声合成装置１００は、受信した音声素片データを利用して音声合成を実行する。
【０００９】
なお、図１では、受付けサーバ４と大容量データベース５は別となっているが、同一の機器で構成してもよい。その場合、ＬＡＮは特に必要はない。
【００１０】
次に、本発明にかかる音声合成装置および音声合成方法の二、三の実施例について詳しく説明する。
【００１１】
〔実施例１〕
図２は本発明の音声合成装置の第１の実施例を示す構成図である。図２において、音声合成装置１００は、テキスト解析部１０１、韻律生成部１０２、音声素片選択部１０３、適合度判定部１０４、合成部１０５、データ送受信制御部１０６、音声素片記憶制御部１０７、テキスト解析辞書１１０及びローカル音声データベース１２０から構成される。なお、図２では、入力されたテキスト情報、それに対応する音韻列および韻律情報、音声素片データ等を一時的に記憶するメモリ（作業用メモリ）は省略してある。また、音声合成装置１００が、ＰＤＡや携帯電話等に搭載して利用される場合、ＰＤＡや携帯電話等の本来の通信機能がデータ送受信制御部１０６を兼ねることになる。
【００１２】
図３に、センタ３側の大容量音声デーベース５と音声合成装置１００内のローカル音声データベース１２０の構成例を示す。図１のセンタ３側の大容量音声データベース５とローカル音声データベース１２０の相違は、蓄積するデータ量だけである。例えば、センタ３側の大容量音声データベース５に蓄積されている音声素片データ中の基本的なもののみを音声合成装置１００内のローカル音声データベース１２０が保持するようにする。あるいは、例えば国語辞書内の見出語中の音韻連接の統計をとり、出現頻度が高いもの（例えば上位１０００程度）をローカル音声データベース１２０が保持するようにする。なお、音韻連接の出現頻度に関しては、例えば特開平１−４４４９８号公報に詳しく記載されている。
【００１３】
図４は、図２の実施例１に対応する本発明の音声合成方法のフローチャートの一例である。以下、図４に従って図２の実施例１の動作を説明する。
【００１４】
テキスト情報が入力されると（ステップ１００１）、テキスト解析部１０１でテキスト解析を行い、音韻列とアクセントを決定する（ステップ１００２）。具体的には、テキスト解析部１０２では、テキスト解析辞書１１０を参照して、テキスト情報について係り受けや品詞解析などの形態素解析、漢字かな変換、アクセント処理を行い、音韻列（音韻記号列）とアクセントを決定する。
【００１５】
次に、音韻列とアクセントに基づいて、韻律生成部１０２により、韻律情報を決定する。音韻情報にはピッチパタン（平均Ｆ０、Ｆ０の傾斜等）、各音素毎の時間長パタン、振幅パタン等が含まれる。韻律生成部１０２では、良く知られているように、所定の生成規則やテーブル等を参照して必要な韻律情報を生成する。
【００１６】
次に、音声素片選択部１０３において、音韻列と韻律情報に従って、ローカル音声データベース１２０から最適な音声素片データを選択し（ステップ１００３）、適合度判定部１０４にて、この選択された音声素片データの適合度を求め、予め定めた閾値を満足するかどうかを判定する（ステップ１００４）。
【００１７】
音声素片データの適合度は、例えば、次のようにして求める。ローカル音声データベース１２０は図３に示す構成として、韻律情報（目標）の前音韻環境をＰｔ、後音韻環境をＳｔ、平均Ｆ０をＦＡｔ、Ｆ０傾斜をＦＳｔ、時間長をＤｔとし、選択された音声素片データの前音韻環境をＰｃ、後音韻環境をＳｃ、平均Ｆ０をＦＡｃ、Ｆ０傾斜をＦＳｃ、時間長をＤｃ、音韻ａ、ｂの異なり度合いを求める関数をＤＰ（ａ、ｂ）とすると、適合度は、
0003748064.tif 000002
と表わすことができる。ここで、αｐ，αｓ，αｆｓ，αｆｓ，αｄは適当な重み関数である。また、ＤＰ（ａ，ｂ）の１例は、音韻ａ，ｂの平均的なスペクトル（ベクトル）をＳＰａ，ＳＰｂとしたときＤＰ(ａ，ｂ)＝｜ＳＰａ−ＳＰｂ｜のような関数である。
【００１８】
適合度判定部１０４では、例えば、上記（１）式により適合度を計算し、該適合度が、予め定めた閾値より小さい場合、ローカル音声データベース１２０から選択された音声素片データを適合と判断して、該音声素片データを最終的に選択する。一方、ローカル音声データベース１２０から音声素片データが選択されないか、あるいは、選択されても適合度が閾値以上の場合には、不適合と判断する、この不適合と判断された場合、適合度判定部１０４はデータ送受信制御部１０６を起動し、音韻列と韻律情報を渡す。
【００１９】
データ送受信制御部１０６は、まず、ネットワーク２を介してセンタ３に接続し（ステップ１００８）、次に、音韻列と韻律情報をセンタ３に送信して、音声素片データの選択を依頼し（ステップ１００９）、センタ３にて大容量音声データベース５を用いて選択された音声素片データ及びその付属情報をネットワーク２を介して受信する（ステップ１０１０）。データ送受信制御部１０６では、このセンタ２から受信（ダウンロード）した音声素片データを適合度判定部１０４に送り、適合度判定部１０４では、この音声素片データを最終的に選択する。
【００２０】
さらに、データ送受信制御部１０６は、センタ２から受信（ダウンロード）した音声素片データ及びその付属情報を音声素片記憶制御部１０７に送る。音声素片記憶制御部１０７では、この音声素片データ及びその付属情報をローカル音声データベース１２０に追加して記憶する（ステップ１０１１）。
【００２１】
次に、音韻列に対応した全ての音声素片データが選択されたかを判定し（ステップ１００５）、全ての音声素片が選択されない場合は、ステップ１００３から処理を繰り返す。この時、音声素片選択部１０３では、ローカル音声データベース１２０に新たに追記された音声素片データがあれば、それを含めて最適な音声素片データを選択することが可能になる。
【００２２】
ステップ１００５で全ての音声素片データが選択されたと判定された場合、合成部１０５において、全ての音声素片データを韻律情報に応じて韻律変形し、韻律変形された音声素片データをそれぞれ接続することにより音声を合成する（ステップ１００７）。これは従来と同様であるので（例えば、特許第２７６１５５２号）、具体的な説明は省略する。
【００２３】
〔実施例２〕
図５に本発明の音声合成装置の第２の実施例を示す。図５において、図２の構成と異なる点は、音声素片キヤッシュメモリ１３０を追加し、音声素片記憶制御部１０７にて、センタ３から受信（ダウンロード）された音声素片データとその付属情報を該音声素片キヤッシュメモリ１２０に蓄積するようにしたことである。したがって、音声素片選択部１０３では、以後、ローカル音声データベース１２０及び音声素片キヤッシュメモリ１３０の両方を使用して最適な音声素片データを選択することができる。
【００２４】
本実施例２は、例えばローカル音声データベース１２０がＲＯＭで実装されて、新たな音声素片データを追加できない場合に有効である。なお、音声素片キヤッシュメモリ１３０のデータは、装置の主電源をオフする毎に消去するか（使用のたびに消去する）、あるいは、補助電源等の使用で、主電源をオフしても消去しないようにするか、いずれでもよい。
【００２５】
図５の実施例２に対応する本発明の音声合成方法のフローチャートは、基本的に図４と同様であるので省略する。相違点は、図４のステップ１０１１において、実施例１ではセンタ２から受信した音声素片データの記憶先がローカル音声データベース１２０であったのが、実施例２では音声素片キヤッシュメモリ１３０になるだけである。
【００２６】
図６は、本発明の音声合成装置をコンピュータ上に構築する場合の概念的な構成を示すブロック図である。図６において、音声合成装置１００は、プログラムに基づき処理を実行するとともに各構成要素を制御するＣＰＵ２１０、プログラム及び途中の処理結果等を格納するメモリ２２０、音声素片データ及び辞書、その他のファイル等を格納するデータ蓄積装置２３０、ネットワークを介してホストとデータを送受信するためのデータ送受信制御手段２４０（図２、図５のデータ送受信側制御部１００）などを具備する。また、必要に応じて、音声素片キャッシュメモリ２５０を付加してもよい。特に小型の携帯機器においては、データ蓄積装置２３０は書き換え可能な磁気ディスク等ではなくＲＯＭで実装されることがあり、その場合は、音声素片キャッシュメモリ２５０が必須となる。
【００２７】
なお、図２や図５で示した装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること（図６）、あるいは、図４で示したような処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【００２８】
【発明の効果】
以上、本発明によれば、必要に応じてネットワークを介してホスト側の大容量の音声データベースにアクセスすることで、搭載容量の限定された端末側に小容量のローカル音声データベースを搭載しても高品質な音声合成が可能になる。また、端末側に、ネットワークを介してホストからダウンロードした音声素片データを保存するためのメモリ領域を用意することで、応答時間の短縮も可能になる。
【図面の簡単な説明】
【図１】本発明の音声合成装置を使用したシステム全体の概念図である。
【図２】本発明による音声合成装置の第１の実施例の構成図である。
【図３】音声データベースの構成例を示す図である。
【図４】本発明による音声合成方法のフローチャート例である。
【図５】本発明による音声合成装置の第２の実施例の構成図である。
【図６】本発明による音声合成装置をコンピュータで実現する場合の構成図である。
【符号の説明】
１      ユーザ端末
２      ネットワーク
３      センタ
４      受付けサーバ
５      大容量音声データベース
１００    音声合成装置
１０１    テキスト解析部
１０２    韻律生成部
１０３    音声素片選択部
１０４    適合度判定部
１０５    合成部
１０６    データ送受信制御部
１０７    音声素片記憶制御部
１１０    テキスト解析辞書
１２０    ローカル音声データベース
１３０    音声素片キヤッシュメモリ
【図１】
0003748064.tif 000003
【図２】
0003748064.tif 000004
【図３】
0003748064.tif 000005
【図４】
0003748064.tif 000006
【図５】
0003748064.tif 000007
【図６】
0003748064.tif 000008