(57)【要約】【課題】  合成音声の品質を向上させることが可能なデータ拡充を容易に実行できる音声合成装置を提供する。【解決手段】  本発明は、波形選択型の音声合成装置に関する。そして、音素波形データ及び韻律情報を関連付けて複数記憶する第１音声データベースと、入力された目標韻律情報との相違度が低い音素波形データのセットを選択する第１波形選択手段と、音素波形データ及び韻律情報を関連付けて複数記憶する第２音声データベースと、第１波形選択手段が選択したセットの音素波形データを、第２音声データベース内の音声波形データと同様に扱い、音素波形データのセットを選択し直す第２波形選択手段とを有することを特徴とする。第２音声データベースを設けたので、当初の音素波形データのセットを選択させる元となる第１音声データベースを操作せず、第２音声データベースへデータを拡充でき、合成音声の品質を向上させるデータ拡充が容易になる。【選択図】      図１
2011191634.tif 000002
【特許請求の範囲】
【請求項１】
波形選択型の音声合成装置において、
音素波形データ及び韻律情報を関連付けて複数記憶する第１音声データベースと、
入力された目標韻律情報との相違度が低い音素波形データのセットを選択する第１波形選択手段と、
音素波形データ及び韻律情報を関連付けて複数記憶する第２音声データベースと、
上記第１波形選択手段が選択したセットの音素波形データを、上記第２音声データベース内の音声波形データと同様に扱い、上記第１波形選択手段が選択したセットの音素波形データと、上記第２音声データベース内の音素波形データとから、入力された目標韻律情報との相違度が低い音素波形データのセットを選択する第２波形選択手段と
を備えたことを特徴とする音声合成装置。
【請求項２】
入力された音声波形データから上記韻律情報を生成する付加情報生成手段をさらに備え、
入力された音声波形データと生成された韻律情報とを上記第２音声データベースに格納させる
ことを特徴とする請求項１に記載の音声合成装置。
【請求項３】
上記第２音声データベースにおける各音素波形データについて、上記第２波形選択手段によって選択された度数又は割合の情報を記憶する選択情報記憶手段と、
選択された度数又は割合に基づいて、上記第２音声データベースから上記第１音声データベースへ移動させる音素波形データ及び韻律情報を決定する移動データ決定手段と
をさらに備えることを特徴とする請求項１又は２に記載の音声合成装置。
【請求項４】
コンピュータを、
音素波形データ及び韻律情報を関連付けて複数記憶する第１音声データベースと、
入力された目標韻律情報との相違度が低い音素波形データのセットを選択する第１波形選択手段と、
音素波形データ及び韻律情報を関連付けて複数記憶する第２音声データベースと、
上記第１波形選択手段が選択したセットの音素波形データを、上記第２音声データベース内の音声波形データと同様に扱い、上記第１波形選択手段が選択したセットの音素波形データと、上記第２音声データベース内の音声波形データとから、入力された目標韻律情報との相違度が低い音素波形データのセットを選択する第２波形選択手段と
して機能させることを特徴とする波形選択型の音声合成プログラム。
【請求項５】
上記コンピュータを、入力された音声波形データから上記韻律情報を生成する付加情報生成手段としてさらに機能させ、入力された音声波形データと生成された韻律情報とを上記第２音声データベースに格納させることを特徴とする請求項４に記載の音声合成プログラム。
【請求項６】
上記コンピュータを、さらに、
上記第２音声データベースにおける各音素波形データについて、上記第２波形選択手段によって選択された度数又は割合の情報を記憶する選択情報記憶手段と、
選択された度数又は割合に基づいて、上記第２音声データベースから上記第１音声データベースへ移動させる音素波形データ及び韻律情報を決定する移動データ決定手段と
して機能させることを特徴とする請求項４又は５に記載の音声合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声合成装置及びプログラムに関し、例えば、テキストデータを特定話者の声の音声データに変換する場合に適用し得るものである。
【背景技術】
【０００２】
テキストデータを対応する音声データに変換するテキスト音声変換技術は、音声合成技術の一種として知られている。最近は、予め録音した大量の音声データベースを利用して行う波形選択型音声合成が知られている。波形選択型音声合成の代表的なものに、特許文献１に記載のものがある。
【０００３】
特許文献１に記載のものに限らず、波形選択型音声合成では、波形選択のための音声データベースを構築し、これから音素等の選択単位で、最適な音素波形データのセットを選択し、接続することで合成音を得ている。このように利用される音声データベースは、使われている音声データの量が多い方が、一般的に合成音声の音質が良くなる。そこで、当初に収集した音声から音声データベースを構築した後でも、種々のタイミングで、同一話者によるデータを音声データベースに追加し、音質の向上を図ろうとすることもあった。このような場合、従来では、今まで音声データベースに収録されていた音素波形データと、新たに追加する音素波形データとを共に格納するように音声データベースの再構築を行っていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−４９１９３
【特許文献２】特開２００５−１８１９９８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来では、計算量が多く時間がかかるデータベース化作業を、新たな音声から形成した音素波形データを音声データベースに追加しようとするたびに、実行しなければならないという問題があった。新たな音素波形データを拡充した場合の合成音を生成するためには、長大な時間をかけて、音声データベースに記録（収録）されている既存の音素波形データと拡充用の音素波形データとで音声データベースを再構築しなければならなかった。
【０００６】
また、拡充したものが合成音声のデータとして採用されるとは限らず、追加音素波形データを拡充しても、合成音声の品質向上を直ちに確認できず、データを追加するという追加者（例えば、音声合成装置のユーザ）の意欲や興味をそぐことにもなり兼ねない。
【０００７】
そのため、合成音声の品質を向上させることが可能なデータ拡充を容易に実行させることができる音声合成装置及びプログラムが望まれている。
【課題を解決するための手段】
【０００８】
第１の本発明は、波形選択型の音声合成装置において、（１）音素波形データ及び韻律情報を関連付けて複数記憶する第１音声データベースと、（２）入力された目標韻律情報との相違度が低い音素波形データのセットを選択する第１波形選択手段と、（３）音素波形データ及び韻律情報を関連付けて複数記憶する第２音声データベースと、（４）上記第１波形選択手段が選択したセットの音素波形データを、上記第２音声データベース内の音声波形データと同様に扱い、上記第１波形選択手段が選択したセットの音素波形データと、上記第２音声データベース内の音声波形データとから、入力された目標韻律情報との相違度が低い音素波形データのセットを選択する第２波形選択手段とを備えたことを特徴とする。
【０００９】
第２の本発明の波形選択型の音声合成プログラムは、コンピュータを、（１）音素波形データ及び韻律情報を関連付けて複数記憶する第１音声データベースと、（２）入力された目標韻律情報との相違度が低い音素波形データのセットを選択する第１波形選択手段と、（３）音素波形データ及び韻律情報を関連付けて複数記憶する第２音声データベースと、（４）上記第１波形選択手段が選択したセットの音素波形データを、上記第２音声データベース内の音声波形データと同様に扱い、上記第１波形選択手段が選択したセットの音素波形データと、上記第２音声データベース内の音声波形データとから、入力された目標韻律情報との相違度が低い音素波形データのセットを選択する第２波形選択手段として機能させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、第２音声データベースを設けたので、当初の音素波形データのセットを選択させる元となる第１音声データベースを操作することなく、第２音声データベースへデータを拡充でき、合成音声の品質を向上させることが可能なデータ拡充を容易に実行させることができる音声合成装置及びプログラムを実現することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る音声合成装置の機能的構成を示すブロック図である。
【図２】第１の実施形態における目標韻律情報の説明図である。
【図３】第１の実施形態における一時音声データベースの作成時の動作を示すフローチャートである。
【図４】第１の実施形態における音声合成動作を示すフローチャートである。
【図５】第２の実施形態に係る音声合成装置の機能的構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
（Ａ）第１の実施形態
以下、本発明による音声合成装置及びプログラムを、テキストデータを特定話者の声の音声データに変換する場合に適用した第１の実施形態を、図面を参照しながら説明する。なお、以下では日本語対応の音声合成装置であるとして説明するが、言語の種類は日本語に限定されるものではない。
【００１３】
（Ａ−１）第１の実施形態の構成
第１の実施形態の音声合成装置は、音声合成プログラムを備えたり、音声合成処理用の専用半導体チップを備えたりする専用装置として構成されていても良く、また、パソコンなどに音声合成プログラムをインストールすることで構成されていても良いが、機能的には、図１に示す概略構成を備えている。なお、半導体チップ化する場合も、以下の全ての手段を備えるようにチップ化しても良く、複数のチップに以下の各手段を分配してチップ化するようにしても良い。
【００１４】
図１において、第１の実施形態の音声合成装置１は、目標韻律推定手段１０、第１波形選択手段１１、音声データベース（音声ＤＢ）１２、一時波形データ蓄積手段１３、一時波形付加情報生成手段１４、一時音声データベース（一時音声ＤＢ）１５、第２波形選択手段１６、及び、波形接続手段１７を有する。ここで、一時波形データ蓄積手段１３及び一時波形付加情報生成手段１４は、一時音声ＤＢ作成手段２０を構成している。
【００１５】
なお、従来の音声合成装置は、例えば、目標韻律推定手段１０、第１波形選択手段１１、音声データベース１２及び波形接続手段１７によって構成されているようなものである。
【００１６】
第１の実施形態の音声合成装置１へは、合成音声データへの変換が求められるテキストデータが入力される。入力されるテキストデータは、かな文であっても漢字かな混じり文であっても良い。また、入力されるテキストデータは、記憶媒体や、当該音声合成装置１を構成する情報処理装置が有する記憶装置から読み出したものであっても良く、キーボードやＯＣＲ（光学的文字読取装置）などから入力されたものであっても良く、通信によって外部の装置やネットワークから取り込んだものであっても良い。
【００１７】
目標韻律推定手段１０は、入力されたテキストデータに形態素解析などの処理を施して、最終的な合成音の目標とする韻律情報を推定するものである。
【００１８】
ここで、韻律情報とは、図２に示すような音素の時系列（ｈ、ａ、ｊ、ｍ、ｅ、…）であって、各音素に対し、その音素の時間長（継続時間（ｄｕａｒａｔｉｏｎ））、ピッチ（基本周波数情報になっている；ｐｉｔｃｈ（１）、ｐｉｔｃｈ（２）、…）、スペクトル情報（周波数情報になっており、例えば、ケプストラム係数（ｍｅｌｃｅｐ（１）、ｍｅｌｃｅｐ（２）、…），Δケプストラム係数、ΔΔケプストラム係数を要素としている）等の音響情報を付加したものである。ここで、韻律情報は、後述する第１波形選択手段１３や第２波形選択手段１７で用いられるので、韻律情報のデータ構成や形態などは、第１波形選択手段１３や第２波形選択手段１６の処理や、音声データベース１２や一時音声データベース１５のデータ構成などと整合を取っておく必要がある。韻律情報における音響情報は、後述する波形選択処理で目標情報として用いられるものであり、仮に、この音響情報から音声データを構築して発音させた場合に、癖のない音声になるようなものであることが好ましい。
【００１９】
目標韻律推定手段１０は、例えば、テキストデータを、各単語の表記、読み、品詞、アクセントを関連付けた単語辞書を使って、一旦、アクセント付かな文字列に変換した後、予め構築されている韻律データベースを参照することでさらに韻律情報に変換する。このような目標韻律推定手段１０の処理は、上述した特許文献１に詳細に述べられている。
【００２０】
音声データベース１２に収録された音声データには、その音声データ（音声波形データ）上で、音素の境界を示す音素境界の情報と、各音素境界で分割された各音素波形に対するラベル情報（音素ラベル情報）が付加されている。付加されている音素ラベル情報は、韻律情報の音素ラベル（図２でのｈ、ａ、ｊ、ｍ、ｅ、…など）と同様なものである。また、第１波形選択手段１１での計算量を削減するために、音声データベース１２に収録された音声データにおける、各音素境界で分割された各音素の音素ラベルに対して、目標韻律推定手段１０の出力である目標韻律情報に対応できるように、目標韻律情報と同様な、音素時間長、ピッチ、スペクトル情報が付加されている。
【００２１】
第１波形選択手段１１は、目標韻律推定手段１０から出力された目標韻律情報の中の各音素に対して、音声データベース１２内の音素波形の中から、最適な音素波形を選択するものである。第１波形選択手段１１は、目標韻律情報内の各音素について、その音素の音響情報（音素時間長、ピッチ、スペクトル情報）と、音声データベース１２内の各音素波形の音響情報とを比較したりなどし、相違度（コスト値）が最も小さい音素波形を選択する。比較は、例えば、目標韻律情報の音素ラベル（図２でのｈ、ａ、ｊ、ｍ、ｅ、…など）と、同一の音素ラベルを持つ音声データベース内の音素波形に対して行なわれる。
【００２２】
第１波形選択手段１１は、例えば、相違度を表すコスト関数（相違が小さいほど小さな値をとる）を以下のように算出する。第１波形選択手段１１は、目標韻律情報の音素ごとに、その音素の音響情報と、音声データベース１２内の音素波形の音響情報（音素時間長、ピッチ、スペクトル情報）を比較し、第１のサブコスト（ターゲットコスト）として数値化する。第１のサブコストは、音素時間長についてのコストと、ピッチについてのコストと、スペクトル情報（ケプストラム係数、Δケプストラム係数、ΔΔケプストラム係数）についてのコストの総和である。また、第１波形選択手段１１は、目標韻律情報の音素それぞれの前後の音素環境（若しくは音韻環境）についても比較し、隣り合う音素間の接続性に関する第２のサブコスト（接続コスト）を数値化する。第２のサブコストは、スペクトル情報（ケプストラム係数、Δケプストラム係数、ΔΔケプストラム係数）についてのコストと、ピッチについてのコスト、音素環境についてのコストの総和である。第１波形選択手段１１は、その後、各サブコストを合成し（例えば、各サブコストを重み付け加算し）、トータルコスト値を計算し、トータルコスト値に基づいて、音声データベース１２内の音素波形の中から、最適な音素波形を選択する。コスト値を求める関数についても、上記特許文献１に詳しく記載されている。
【００２３】
目標韻律情報の中の各音素に対し、音声データベース１２から抽出された最適な音素波形の組み合わせ（以下では、セットと呼ぶ）は、第１波形選択手段１１から第２波形選択手段１６に与えられるようになされている。因みに、従来であれば、音声データベース１２から抽出された最適な音素波形のセットは波形接続手段１７に与えられ、合成音波形データが、音声データベース１２から抽出された最適な音素波形のセットから形成される。
【００２４】
一時音声ＤＢ作成手段２０は、音声データベース１２に格納されていなくても、音声合成に利用可能な音声データを格納した一時音声データベース１５を作成させるものである。音声データベース１２の作成方法（例えば、既存のいかなる作成方法であっていても良い）と、一時音声データベース１５の作成方法とは同様な部分があるが、一時音声データベース１５の作成時に行う処理は、基本的に音響情報の抽出作業などの単体処理であり、音声データベース１２の作成やデータ追加時におけるような大量の音声データを統計的に処理することは含まないものである。因みに、大量の音声データの中から、効率的に所望する音声データを探索、選択するための統計処理が、音声データベース１２の作成やデータ追加時には実行されている。
【００２５】
例えば、音声データベース１２に格納されている音声データの中に、そのとき、当該音声合成装置１が音声合成の対象とする特定話者の発声音声として不足するものがあれば、一時音声ＤＢ作成手段２０によって不足する音声データを作成させて一時音声データベース１５に格納させるという利用方法が考えられる。合成しようとするテキストデータがバスガイド調であって、音声データベース１２に特定話者がバスガイド調で発声した際の音声データが不足している場合には、一時音声ＤＢ作成手段２０によって不足するバスガイド調の言い回しや口調で発声した音声の音声データを作成させて一時音声データベース１５に格納させる。
【００２６】
一時音声データベース１２は、収録している音声データが音声データベース１２に収録されている音声データと異なるが、収録している音声データのデータ構成や形態は、音声データベース１２に収録されている音声データのデータ構成や形態と同様である。
【００２７】
一時音声ＤＢ作成手段２０には、音声波形データとそれに対応するテキストデータとが入力され、一時音声ＤＢ作成手段２０は、これら音声波形データ及びテキストデータから、一時音声データベース１５に格納する音声データを作成する。
【００２８】
一時波形データ蓄積部１３は、入力された音声波形データとそれに対応するテキストデータを蓄積しておくものである。
【００２９】
ここで、音声波形データの入力は、過去に録音していた音声波形データを取り込む（記録媒体からの読み出しでも他装置からのダウンロードなどであっても良い）ものであっても良く、また、マイク等でその場で収録したものであっても良い。対応するテキストデータの入力は、音声波形データが原稿を読上げたものであればその原稿データでも良く、入力された音声波形データを発音出力させた音声を聴取してその結果をキーボードから打ち込んで作成したものであっても良く、また、音声認識などを使って音声波形データから自動生成したものであっても良い。
【００３０】
一時波形付加情報生成手段１４は、一時音声データベース１５に格納する音声データのうち、付加情報を生成するものである。ここで、付加情報とは、音声波形データ以外の情報をいう。付加情報は、音声波形データ上で音素の境界を示す音素境界の情報と、各音素境界で分割された各音素波形に対するラベル情報（音素ラベル情報）と、各音素の音素ラベルに対する音素時間長、ピッチ、スペクトル情報とでなる。音素ラベル情報は、各音声波形データに対応する音素列を表すものであって、音声波形データと各音素の時間的対応関係を示すものである。
【００３１】
一時波形付加情報生成手段１４は、まず最初に、テキストデータに対して、形態素解析処理、読み・アクセント辞書を適用したアクセント付かな文字列への変換、かな−音素分解を順次施すことで音素列を生成し、次に、この音素列と対応する音声波形データに対して自動音素セグメンテーションを行い、音素ラベル情報を得る。音素ラベル情報から、直接継続時間情報（音素時間長の情報）と、音素とそれに先行する音素、後続する音素との接続性の情報である音素環境情報とを得ることができる。さらに、音声波形データから、ピッチ、スペクトル情報（ケプストラム係数、Δケプストラム係数、ΔΔケプストラム係数）を抽出し、これらを各音素境界で区分されている音素ラベル情報によって割り付けることで、所望の付加情報が完成する。
【００３２】
第２波形選択手段１６には、目標韻律推定手段１０から出力された目標韻律情報と、第１波形選択手段１１から出力された、音声データベース１２から抽出された最適な音素波形のセット（以下、セット候補と呼ぶ）の情報とが与えられる。第２波形選択手段１６は、上述のセット候補と、一時音声データベース１５にある音素波形データの中から、セット候補より目標韻律情報に近い、音素波形のセットがないかを探索するものである。第２波形選択手段１６は、セット候補の各音素波形を、一時音声データベース１５に存在するそれと同一音素の全ての音素波形との比較を行い、組み合わせ（セット）として、より目標韻律情報に近い音素波形があれば音素波形のセットをセット候補から更新するものである。
【００３３】
以下では、より具体的に、第２波形選択手段１６の機能を説明する。
【００３４】
第２波形選択手段１６は、目標韻律情報の各音素ごとに、一時音声データベース１５から、候補となる音声波形データを所定個する抽出する処理（ターゲット選択）を行う。この際には、第１波形選択手段１１で選択された音素波形データの見直しも実行される。例えば、目標韻律情報における最初の音素を対象としたときには、第１波形選択手段１１で選択された音素波形データと、一時音声データベース１５に格納されている同一音素に係る全ての音声波形データについて、音素時間長についてのコストと、ピッチについてのコストと、スペクトル情報（ケプストラム係数、Δケプストラム係数、ΔΔケプストラム係数）についてのコストとを求め、さらに、そのコストの総和を第１のサブコストとして算出し、第１のサブコストが小さい方から所定個数（Ｎ個）を候補として抽出する。なお、このＮ個の候補の中に、第１波形選択手段１１で選択された音素波形データが含まれないこともあり得る。目標韻律情報における２番目以降の音素についても、同様な処理を行う。
【００３５】
第２波形選択手段１６は、ターゲット選択の後では、音素の接続性を考慮した選択する。すなわち、第２波形選択手段１６は、隣り合う音素間の接続性に関する、スペクトル情報（ケプストラム係数、Δケプストラム係数、ΔΔケプストラム係数）についてのコストと、ピッチについてのコスト、音素環境についてのコストの総和である第２のサブコストを計算する。
【００３６】
第２波形選択手段１６は、接続性を加味した選択が終了すると、ＮのＭ乗個（Ｍは目標韻律情報における音素数である）の音声波形列の全てについて、第１サブコスト（ターゲットコスト）と第２のサブコスト（接続コスト）の総和を計算し、最小となる音声波形データの列を、一時音声データベース１５をも考慮した中で最適な音声波形のセットとして選出する。
【００３７】
ここで、第２波形選択手段１６は、最終的に得られた最適な音声波形のセットに対し、それぞれの音声波形（音声波形データ）が、音声データベース１２に格納されていたものか、一時音声データベース１５に格納されていたものかを区別できる情報も付加することが好ましい。
【００３８】
波形接続手段１７は、第２波形選択手段１６から与えられた最適な音声波形のセットにおける各音素波形データを、相関関数等で、位相を合わせて接続し、入力されたテキストデータに応じた音声波形データ（合成音声データ）を形成して出力するものである。なお、各音素波形データを接続する際には、窓掛けによるオーバーラップ接続等を行うようにしても良い。
【００３９】
得られた合成音声データの出力方法は任意である。例えば、合成音声データをＤ／Ａ変換した後、スピーカから発音出力させるようにしても良い。また、合成音声データを記録媒体や当該音声合成装置を搭載している装置（例えばパソコン）の記憶部などに記憶させるようにしても良く、他の装置に送信するようにしても良い。
【００４０】
また、合成音声データの出力手段として表示手段を設け、合成音声データを構成するそれぞれの音声波形（音声波形データ）が、音声データベース１２に格納されていたものか、一時音声データベース１５に格納されていたものかを区別して表示させるようにしても良い。
【００４１】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の音声合成装置１における動作を、一時音声データベース１５の作成動作、音声合成時の動作の順に説明する。
【００４２】
（Ａ−２−１）一時音声データベース１５の作成動作
図３は、一時音声データベース１５の作成時の動作を示すフローチャートである。
【００４３】
一時音声データベース１５の作成は、利用者の指示に従って実行する。例えば、第１の実施形態の音声合成装置１が立ち上げられた際には、一時音声データベース１５の作成を実行するか否かを、ディスプレイなどを介して利用者に質問し、利用者が作成を指示したときに、一時音声データベース１５の作成動作を実行する。
【００４４】
まず、一時音声ＤＢ作成手段２０は、音声波形データとそれに対応するテキストデータとを取込み、一時波形データ蓄積部１３に格納させる（ステップ１００）。
【００４５】
入力されたテキストデータに対し、一時波形付加情報生成手段１４によって、形態素解析処理、読み・アクセント辞書を適用したアクセント付かな文字列への変換、かな−音素分解が順次実行されて音素列が生成される（ステップ１０１）。次に、この音素列と対応する音声波形データに対して自動音素セグメンテーションが実行され、音素ラベル情報が得られる（ステップ１０２）。音素ラベル情報から、直接継続時間情報と、音素とそれに先行する音素、後続する音素との接続性の情報である音素環境情報とを取出す（ステップ１０３）。さらに、音声波形データから、ピッチ、スペクトル情報（ケプストラム係数、Δケプストラム係数、ΔΔケプストラム係数）を抽出し、これらを各音素境界で区分されている音素ラベル情報によって割り付け、付加情報を完成させる（ステップ１０４）。
【００４６】
音声波形データに付加情報を付加して、一時音声データベース１５に格納する（ステップ１０５）。
【００４７】
（Ａ−２−２）音声合成動作
図４は、音声合成時の動作を示すフローチャートである。この音声合成時の動作に先立って、利用者は、今回の音声合成に反映してほしい音声データを含むような一時音声データベース１５の作成を行うこともある。
【００４８】
音声合成装置１は、処理対象のテキストデータを取込み（ステップ２００）、このテキストデータに基づき、目標韻律推定手段１０によって、目標韻律情報が推定される（ステップ２０１）。そして、音声データベース１２の格納されている音声波形の中から、上述した目標韻律情報に合致するような最適な音素波形のセットが、第１波形選択手段１１によって抽出される（ステップ２０２）。
【００４９】
第２波形選択手段１６には、目標韻律推定手段１０から出力された目標韻律情報と、第１波形選択手段１１から出力された、音声データベース１２から抽出された最適な音素波形のセットとが与えられ、第２波形選択手段１６によって、このセットの音声波形データと、一時音声データベース１５にある音素波形データの中から、より目標韻律情報に近い、音素波形のセットが探索され、探索により得られた音素波形のセットが出力される（ステップ２０３）。
【００５０】
第２波形選択手段１６によって得られた最適な音声波形のセットにおける各音素波形データが、波形接続手段１７によって、位相が合わせられて接続され、入力されたテキストデータに応じた音声波形データ（合成音声データ）が形成されて出力される（ステップ２０４）。
【００５１】
（Ａ−３）第１の実施形態の効果
上記第１の実施形態によれば、音声データベースの他に、一時音声データベースを設け、音声データベースをアクセスして得た音声波形のセットを、第２の波形選択手段が、一時音声データベースの格納内容に基づいて修正し得るようにしたので、音声データベースを長時間かけて構築し直すことなく、一時音声データベースに音声データを追加したら直ちにその音声波形も選択候補にすることができ、合成音声に反映させることができる。音声合成用のデータ拡充を容易に実行させることができ、合成音声に反映させることができる。
【００５２】
合成音声データに、当該合成音声データを構成している音素波形データの抽出元のデータベースの識別情報を盛り込み、利用者の指示に応じて、抽出元のデータベースの識別情報を表示するようにすると、利用者は、一時音声データベースを作成したことによって音質を向上させることができたか否かを容易に認識することができるようになる。すなわち、音声データの拡充後、拡充による合成音声の品質（音質）向上を直ちに確認することができるようになる。
【００５３】
（Ｂ）第２の実施形態
次に、本発明による音声合成装置及びプログラムを、テキストデータを特定話者の声の音声データに変換する場合に適用した第２の実施形態を、図面を参照しながら説明する。
【００５４】
図５は、第２の実施形態に係る音声合成装置の機能的構成を示すブロック図であり、上述した第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。
【００５５】
図５において、第２の実施形態の音声合成装置１Ａは、第１の実施形態と同様な目標韻律推定手段１０、第１波形選択手段１１、音声データベース１２、一時波形データ蓄積手段１３、一時波形付加情報生成手段１４、一時音声データベース１５、第２波形選択手段１６Ａ及び波形接続手段１７に加え、使用頻度記憶手段１８及び移動一時音声データ決定手段１９を有する。ここで、使用頻度記憶手段１８及び移動一時音声データ決定手段１９は、一時音声データ評価手段３０を構成している。
【００５６】
第２の実施形態の音声合成装置１Ａは、一時音声データベース１５に記憶されている音声データを評価する評価モードを有するものであり、図示しないキー入力装置等から、評価モードが指示されたとき、第２の実施形態の音声合成装置１Ａの各部は評価モードでの動作を実行するものである。一時音声データベース１５に記憶されている音声データの評価とは、その音声データが音声データベース１２へ移動させるのに値するものであるかを評価することをいう。
【００５７】
評価モードにおいては、第２の実施形態の音声合成装置１Ａには、評価用テキストセットが入力される。評価用テキストセットは、例えば、複数の文で構成されるテキストデータのセットである。この評価用テキストセットを用いて、一時音声データベース１５に記憶（追加）されている音声データを評価する。言い換えると、一時音声データベース１５に音声データを追加したことによる効果を確認する。
【００５８】
目標韻律推定手段１０及び第１波形選択手段１１は、評価モードにおいても、評価用テキストセットのそれぞれのテキストデータに対し、第１の実施形態で説明したと同様な動作を行う。また、第２波形選択手段１６Ａも、評価モードにおいて、第１の実施形態で説明したとほぼ同様な動作を行う。但し、第２の実施形態の場合、第２波形選択手段１６Ａは、自己が得た最適な音声波形のセットにおける各音素波形データのうち、一時音声データベース１５に記憶されているものがあれば、使用頻度記憶手段１８に記憶されている、その音素波形データ（音声データ）の頻度を増加させるものである。
【００５９】
使用頻度記憶手段１８は、一時音声データベース１５に記憶されている音声データの使用頻度を記憶しているものである（なお、後述する使用率を記憶するものであっても良い）。例えば、評価モードが指示されたときに、図示しない評価モード制御手段によって、全ての音声データの使用頻度が０クリアされ（但し、０クリアすることなく、過去の使用頻度をそのまま残して新たな評価モードの処理に移行するようにしても良い）、その後、評価用テキストセットのそれぞれのテキストデータに対する第２波形選択手段１６Ａの処理結果に応じて使用頻度が更新されていくものである。なお、一時音声データベース１５の各音声データに係るフィールドとして使用頻度を記憶できるフィールドを設け、使用頻度記憶手段１８を一時音声データベース１５上に構成するようにしても良い。
【００６０】
一時音声データ評価手段３０は、評価用テキストセットの全てのテキストデータに対する第２波形選択手段１６Ａの処理が終了したときに、使用頻度記憶手段１８に記憶されている音声データ毎の頻度情報に基づいて、一時音声データベース１５から音声データベース１２へ移動させる音声データを決定して、音声データベース１２へ移動させる。
【００６１】
一時音声データベース１５から音声データベース１２へ移動させる音声データの決定方法は、その音声データ（音素波形データ）の使用頻度が反映されたものであれば良い。
【００６２】
例えば、使用頻度が所定の閾値を越えていれば移動させるように決定しても良い。この場合において、閾値を、音素ラベルによって切り替えるようにしても良い（例えば、母音音素ラベルの閾値を子音音素ラベルの閾値より高くする）。また例えば、使用頻度を使用率に代えた後、閾値と比較して移動する音声データを決定するようにしても良い。評価用テキストセットの各テキストデータに出現する音素を音素ラベル単位に計数し、同一の音素ラベルを有する音声データの使用頻度を上述した計数値で割ることによって使用頻度を使用率に変換するようにしても良い。使用率に変換する際の分母として、評価用テキストセットにおける文の数を適用しても良い。
【００６３】
さらに、例えば、使用頻度からみて移動させる音声データでないと判断された音声データであっても、一時音声データベース１５から音声データベース１２へ移動させると決定された他の音声データと接続性が良い音声データを合わせて移動させるようにしても良い。一時音声データベース１５上に格納させる元となったテキストデータが同じ音声データは、そのうちの１つでも移動させる音声データと決定された場合には、全てを移動させるようにしても良く、また、一部（文節や単語を構成している音素列に対応する音声データ）を移動させるようにしても良い。この場合には、一時音声データベース１５に音声データを格納する際には、形成させる元となったテキストデータなどの識別情報を併せて格納しておくことを要する。
【００６４】
第２の実施形態によっても、第１の実施形態と同様な効果を奏することができる。さらに、一時音声データベース１５内の音声データ中、使用度が高い音声データを音声データベース１２へ移動させるので、一時音声データベース１５内の記憶データが整理によって消去された以降においても、合成音声での適用対象とすることができ、合成音声の品質を高めることができる。
【００６５】
（Ｃ）他の実施形態
上記第１の実施形態では、一時音声データベース１５は継続して存在するものを示したが、利用者によるマージ指令に応じて、図示しないマージ手段が、一時音声データベース１５を音声データベース１２にマージさせるようにしても良い。また、当該音声合成装置が、利用者の在席、離席などを自動的に判断し、離席になってからの時間が所定時間を超えたときから、マージ手段が自動的にマージを実行するようにしても良い。
【００６６】
また、上記第２の実施形態においては、一時音声データベース１５から音声データベース１２への一時音声データの移動を、評価用テキストセットを入力することで一時音声データを評価して行うものを示したが、通常の音声合成用のテキストデータの入力で移動を判断するようにしても良い。通常の音声合成処理毎に第２の実施形態と同様な使用頻度の計数処理を行うと共に、所定期間（例えば、１週間や１カ月）毎に、使用頻度や使用率に基づいた移動判断を行うようにしても良い。
【００６７】
上記第２の実施形態においては、一時音声データベース１５から音声データベース１２へ一時音声データを移動させる場合を示したが、使用頻度や使用率などに基づいて、一時音声データベース１５の音声データの削除を判断するようにしても良い。例えば、使用率が０（又は非常に低い値）の状態が所定時間継続した音声データを、一時音声データベース１５から自動的に削除するようにしても良い。
【００６８】
また、自働的な移動や削除に代え、使用頻度や使用率を表示させ、移動や削除を利用者に判断させるようにしても良い。
【００６９】
さらには、当該音声合成装置を終了させたときには、一時音声データベース１５が自動的に消失するものであっても良い。自働的に消失するか否かをも、利用者の選択項目とするようにしても良い。
【００７０】
なお、目標韻律推定手段は韻律データベースを備えているが、韻律データベースに対しても、一時的な一時韻律データベースを利用可能とするようにしても良い。
【００７１】
上記実施形態では、テキストデータが入力されて合成音声データを得るものを示したが、入力が既に韻律情報になっていても対応できるものであっても良い。
【００７２】
また、一時音声データベース１５の中では、互いに近似している音声データを調整する統計処理を実行するようにしても良い。一時音声データベース１５に記憶するデータ量に上限を設けておき、それを超えそうな場合に、最古の音声データや使用率が低い音声データを削除して新たな音声データを追加させ、又は、同種の音声データを認識する統計処理を実行して、削除する音声データを定めるようにしても良い。すなわち、一時音声データベース１５の肥大化を防止する構成を設けるようにしても良い。
【００７３】
上記各実施形態の説明においては、全ての手段が同一装置に存在するイメージで説明したが、ＬＡＮなどのネットワークを介して接続されている異なる装置に存在するものであっても良い。
【００７４】
上記各実施形態では、特定話者用の音声合成装置を示したが、音声データベースや一時音声データベースに複数の話者の音声データが混在するものであっても良い。また、話者選択機能を設け、選択された話者の音声データベースや一時音声データベースだけが有効に動作するものであっても良い。
【符号の説明】
【００７５】
１、１Ａ…音声合成装置、１０…目標韻律推定手段、１１…第１波形選択手段、１２…音声データベース（音声ＤＢ）、１３…一時波形データ蓄積手段、１４…一時波形付加情報生成手段、１５…一時音声データベース（一時音声ＤＢ）、１６、１６Ｂ…第２波形選択手段、１７…波形接続手段、１８…使用頻度記憶手段、１９…移動一時音声データ決定手段、２０…一時音声ＤＢ作成手段、３０…一時音声データ評価手段。
【図１】
2011191634.tif 000003
【図２】
2011191634.tif 000004
【図３】
2011191634.tif 000005
【図４】
2011191634.tif 000006
【図５】
2011191634.tif 000007