(57)【要約】  音声コンテンツの編集を高速に実行することを可能とし、音声コンテンツを手軽に作成ができる音声合成装置は、小規模音声素片ＤＢ（１０１）と、小規模音声素片選択部（１０２）と、小規模音声素片接続部（１０３）と韻律修正部（１０４）と、大規模音声素片ＤＢ（１０５）と、小規模音声素片ＤＢ（１０１）と大規模音声素片ＤＢ（１０５）を対応付ける対応ＤＢ（１０６）と、音声素片候補取得部（１０７）と大規模音声素片選択部（１０８）と大規模音声素片接続部（１０９）とで構成され、小規模音声素片ＤＢ（１０１）を用いて合成音を編集し、編集結果に基づいて大規模音声素片ＤＢ（１０５）を用いて高音質化することにより、携帯端末上で容易に音声コンテンツを作成することが可能となる。
2007141993.tif 000002
【特許請求の範囲】
【請求項１】
音声記号および韻律情報に適合する合成音を生成する音声合成システムであって、
前記音声合成システムは、コンピュータネットワークを介して相互に接続された作成端末と、サーバと、受信端末とを備え、
前記作成端末は、
合成音を生成するために用いられる合成音生成用データを保持している小規模データベースと、
生成される合成音が音声記号および韻律情報に最も適合する合成音生成用データを前記小規模データベースより選択する合成音生成用データ選択手段とを有し、
前記サーバは、
前記小規模データベースに保持されている前記合成音生成用データよりも、生成する合成音が詳細に韻律情報を表すことが可能であり、かつ多くの数の音声素片を保持している大規模データベースを有し、
前記受信端末は、
前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応し、かつ生成される合成音が前記音声記号および前記韻律情報に最も適合する音声素片を、前記大規模データベースの中から選択する適合音声素片選択手段と、
前記適合音声素片選択手段で選択された前記音声素片を接続することにより合成音を生成する音声素片接続手段とを有する
ことを特徴とする音声合成システム。
【請求項２】
音声記号および韻律情報に適合する簡易合成音を生成する作成端末であって、
前記合成音を生成するために用いられる音声素片を保持している小規模データベースと、
生成される合成音が音声記号および韻律情報に適合する合成音生成用データを前記小規模データベースより選択する合成音生成用データ選択手段と、
前記合成音声生成用データを送信する送信手段とを備え、
前記送信手段が、前記小規模データベースに保持されている前記音声素片よりも、多くの数の音声素片を保持している大規模データベースを有するサーバに、前記大規模データベースの音声素片と対応付けるための前記合成音声生成用データを送信する
ことを特徴とする作成端末。
【請求項３】
さらに、前記合成音生成用データ選択手段で選択された音声素片を接続することにより、簡易合成音を生成する小規模音声素片接続手段と、
前記簡易合成音の韻律情報を修正するための情報を受け付け、当該情報に基づいて前記韻律情報を修正する韻律情報修正手段とを備え、
前記合成音生成用データ選択手段は、前記簡易合成音の韻律情報が修正された場合に、生成される合成音が音声記号および修正後の前記韻律情報に適合する合成音生成用データを前記小規模データベースより再選択して、前記小規模音声素片接続手段に前記再選択した前記合成音声生成用データを出力し、
前記送信手段は、前記修正と前記再選択とで決定された前記合成音用データを送信する
ことを特徴とする請求項２に記載の作成端末。
【請求項４】
音声記号および韻律情報に適合する合成音を生成するサーバであって、
作成端末が生成した合成音声生成用データを受信する受信手段と、
前記小規模データベースに保持されている前記合成音生成用データよりも、多くの数の音声素片を保持している大規模データベースと、
前記小規模データベースに保持されている前記合成音生成用データの各々と、当該合成音生成用データに対応する少なくとも１つの前記音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースとを備える
ことを特徴とするサーバ。
【請求項５】
音声記号および韻律情報に適合する合成音を生成する音声合成装置であって、
合成音を生成するために用いられる合成音生成用データを保持している小規模データベースと、
前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースと、
生成される合成音が音声記号および韻律情報に適合する合成音生成用データを前記小規模データベースより選択する合成音生成用データ選択手段と、
前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応する音声素片を、前記大規模データベースの中から選択する適合音声素片選択手段と、
前記適合音声素片選択手段で選択された前記音声素片を接続することにより合成音を生成する音声素片接続手段とを備える
ことを特徴とする音声合成装置。
【請求項６】
さらに、前記合成音生成用データ選択手段で選択された音声素片を接続することにより、簡易合成音を生成する小規模音声素片接続手段と、
前記簡易合成音の韻律情報を修正するための情報を受け付け、当該情報に基づいて前記韻律情報を修正する韻律情報修正手段とを備え、
前記合成音生成用データ選択手段は、前記簡易合成音の韻律情報が修正された場合に、生成される合成音が音声記号および修正後の前記韻律情報に適合する合成音生成用データを前記小規模データベースより再選択して、前記小規模音声素片接続手段に前記再選択した合成音声生成用データを出力し、
前記適合音声素片選択手段は、前記修正と前記再選択とで決定された前記合成音生成用データを受け取り、当該合成音生成用データに対応する音声素片を前記大規模データベースの中から選択する
ことを特徴とする請求項５に記載の音声合成装置。
【請求項７】
さらに、前記小規模データベースに保持されている前記合成音生成用データの各々と、当該合成音生成用データに対応する少なくとも１つの前記音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースを備え、
前記適合音声素片選択手段は、
前記対応データベースに保持されている前記対応関係情報を用いて、前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応する音声素片の候補を特定し、特定された前記音声素片の候補を前記大規模データベースより取得する音声素片取得部と、
前記音声素片取得部で取得された前記音声素片の候補の中から、生成される合成音が前記音声記号および前記韻律情報に最も適合する音声素片を選択する音声素片選択部とを有し、
前記音声素片接続手段は、前記音声素片選択部で選択された前記音声素片を接続することにより合成音を生成する
ことを特徴とする請求項５に記載の音声合成装置。
【請求項８】
前記大規模データベースは、コンピュータネットワークを介して前記音声合成装置と接続されたサーバに設けられており、
前記適合音声素片選択手段は、前記サーバに設けられた前記大規模データベースの中から前記音声素片を選択する
ことを特徴とする請求項５に記載の音声合成装置。
【請求項９】
前記小規模データベースは、前記大規模データベースに保持されている音声素片をクラスタリングした際の、各クラスタを代表する音声素片を保持している
ことを特徴とする請求項５に記載の音声合成装置。
【請求項１０】
前記小規模データベースは、前記大規模データベースに保持されている音声素片を、当該音声素片の基本周波数、継続時間長、パワー情報、フォルマントパラメータ、ケプストラム係数の少なくとも１つ以上に基づいてクラスタリングした際の、各クラスタを代表する音声素片を保持している
ことを特徴とする請求項９に記載の音声合成装置。
【請求項１１】
前記小規模データベースは、ＨＭＭ（隠れマルコフ）モデルを保持しており、
前記大規模データベースは、前記小規模データベースに保持されている前記ＨＭＭモデルを生成する際の学習サンプルである音声素片を保持している
ことを特徴とする請求項５に記載の音声合成装置。
【請求項１２】
音声記号および韻律情報に適合する合成音を生成する音声合成方法であって、
生成される合成音が音声記号および韻律情報に最も適合する合成音生成用データを、合成音を生成するために用いられる合成音生成用データを保持している小規模データベースより選択する合成音生成用データ選択ステップと、
前記合成音生成用データ選択ステップで選択された前記合成音生成用データに対応し、かつ生成される合成音が前記音声記号および前記韻律情報に最も適合する音声素片を、前記小規模データベースに保持されている前記合成音生成用データよりも、生成する合成音が詳細に韻律情報を表すことが可能であり、かつ多くの数の音声素片を保持している大規模データベースの中から選択する適合音声素片選択ステップと、
前記適合音声素片選択ステップで選択された前記音声素片を接続することにより合成音を生成する音声素片接続ステップとを含む
ことを特徴とする音声合成方法。
【請求項１３】
音声記号および韻律情報に適合する合成音を生成するプログラムであって、
生成される合成音が音声記号および韻律情報に最も適合する合成音生成用データを、合成音を生成するために用いられる合成音生成用データを保持している小規模データベースより選択する合成音生成用データ選択ステップと、
前記合成音生成用データ選択ステップで選択された前記合成音生成用データに対応し、かつ生成される合成音が前記音声記号および前記韻律情報に最も適合する音声素片を、前記小規模データベースに保持されている前記合成音生成用データよりも、生成する合成音が詳細に韻律情報を表すことが可能であり、かつ多くの数の音声素片を保持している大規模データベースの中から選択する適合音声素片選択ステップと、
前記適合音声素片選択ステップで選択された前記音声素片を接続することにより合成音を生成する音声素片接続ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成技術に基づく音声コンテンツ編集・生成方法に関するものである。
【背景技術】
【０００２】
近年、音声合成技術の発達により、非常に高音質な合成音を作成することが可能となってきた。【０００３】
しかしながら、従来の合成音の用途はニュース文をアナウンサー調で読み上げる等の画一的な用途が中心であった。【０００４】
一方で、携帯電話のサービスなどでは、着信音の代わりに有名人の音声メッセージを用いるといったサービスが提供されるなど、特徴のある音声（個人再現性の高い合成音や、女子高校生風や関西弁風などの特徴的な韻律・声質をもつ合成音）が一つのコンテンツとして流通しはじめている。このように、個人間のコミュニケーションにおける楽しみを増やすために、特徴的な音声を作って相手に聞かせることに対する要求が高まることが考えられる。【０００５】
以上のようなことから、従来のような単調な読み上げ調としてだけではなく、様々な声質や韻律を持った音声コンテンツを編集・作成して利用したいというニーズが高まりつつある。【０００６】
「音声コンテンツの編集・作成」とは、上記のような音声コンテンツ作成という観点から見ると、例えば、女子高校生風や関西弁風などの特徴のある抑揚をつけたり、作成者の感情が伝わるように韻律や声質を変更したり、語尾を強調したりといったように、編集者自身の好みに合わせて合成音をカスタマイズすることに相当する。このようなカスタマイズは１回の処理で行なうよりも、むしろ編集と試聴とを繰り返すことによって、ユーザが望むコンテンツを作成することが可能となる。【０００７】
上述の音声コンテンツの編集・作成を手軽に行なうための環境としては、以下の要件が必要である。【０００８】
（１）携帯端末などの小規模なハードウェアリソースでも作成できる。【０００９】
（２）合成音の編集を高速に行なうことが可能である。【００１０】
（３）編集途中の合成音を簡単に試聴することができる。【００１１】
従来、高音質な合成音を作成する方法として、例えば、再生時の合計時間が数時間から数百時間という大規模な音声を記録した音声データベースから、最適な音声素片系列を選択して接続することにより、高音質に合成音を作成するものが提案されている（例えば、特許文献１参照。）。図１は、特許文献１に記載された従来の音声合成装置の構成を示すブロック図である。【００１２】
従来の音声合成装置は、合成目標となるテキストを分析した結果得られる合成器指令００２を入力として受け、音声素片ＤＢ（データベース）００１に含まれる拡張された音声素片から適切な音声素片を選択し接続して合成音声波形０１９を出力する音声合成装置である。【００１３】
音声合成装置は、多段予備選択部００３と、素片選択部００４と、接続部００５とを含む。【００１４】
多段予備選択部００３は、合成器指令００２を受け、合成器指令００２により指定された音声素片のうちで、後述するように多段の予備選択を行なって予備選択候補群０１８を選択する。【００１５】
素片選択部００４は、合成器指令００２を受け、予備選択候補群０１８から全サブコストを用いて計算したコストの最も小さな素片を選択する。【００１６】
接続部００５は、素片選択部００４により選択された音声素片を接続して合成音声波形０１９を出力する。【００１７】
なお、予備選択候補群０１８は素片の選択のみに用いられるので、コスト計算に必要な特徴量のみを含み、音声素片データそのものは含まない。接続部００５は、素片選択部００４により選択された素片の音声素片データを、音声素片ＤＢ００１を参照して得ることになる。【００１８】
従来の音声合成装置で使用されるサブコストは、基本周波数誤差、継続時間長誤差、ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）誤差、Ｆ０（基本周波数）不連続誤差、ＭＦＣＣ不連続誤差、音素環境誤差にそれぞれ対応する６種類のサブコストを含む。これらのうち、前３者はターゲットコストに属し、後３者は接続コストに属する。【００１９】
従来の音声合成装置に係る素片選択部００４によるコスト計算では、コストはサブコストから計算される。【００２０】
多段予備選択部００３は、４つの予備選択部００６、００９、０１２および０１５を含む。【００２１】
第１の予備選択部００６は、合成器指令００２を受け、音声素片ＤＢ００１中の音声素片候補から各時刻におけるＦ０誤差、継続時間長誤差による予備選択をして第１の候補群００７を出力する。【００２２】
第２の予備選択部００９は、第１の候補群００７中の素片から、各時刻におけるＦ０誤差、継続時間長誤差、ＭＦＣＣ誤差による予備選択をして第２の候補群０１０を出力する。【００２３】
以下同様に第３の予備選択部０１２および第４の予備選択部０１５もサブコストの一部を使用して予備選択を行なう。【００２４】
このように予備選択を行なうことにより、音声素片ＤＢ００１から最適な音声素片を選択する計算量を削減している。
【特許文献１】特開２００５−２６５８９５号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【００２５】
上述のように本発明の目的は、音声コンテンツの作成であり、そのためには合成音を編集するという手段が必要である。しかしながら、特許文献１の技術を用いて合成音すなわち音声コンテンツを編集する場合には、以下の問題が存在する。【００２６】
すなわち、特許文献１に記載の音声合成装置は、素片を選択する際に予備選択部を導入することによりトータルの計算コストを削減することはできる。しかし、結果として合成音を得るためには、第１の予備選択部００６において全ての音声素片からの予備選択を行なう必要がある。また、接続部００５が最終的に最適な音声素片を音声素片ＤＢ００１から毎回選択する必要がある。さらに、高音質な合成音を生成するためには、音声素片ＤＢ００１には、数多くの音声素片を記憶しておかなければならず、通常、再生時の合計時間が数時間から数百時間という大規模なデータベースとなる。【００２７】
したがって、合成音を編集する際に毎回大規模な音声素片ＤＢ００１から音声素片を選択した場合には、結局目的の合成音を得るまでに、毎回大規模な音声素片ＤＢ００１を探索する必要がある。このため、編集時の計算コストが大きくなるという課題がある。【００２８】
本発明は、前記従来の課題を解決するもので、音声コンテンツの編集を高速に実行することができ、音声コンテンツを手軽に作成できる音声合成装置を提供することを目的とする。
【課題を解決するための手段】
【００２９】
本発明のある局面に係る音声合成装置は、音声記号および韻律情報に適合する合成音を生成する音声合成装置であって、合成音を生成するために用いられる合成音生成用データを保持している小規模データベースと、前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースと、生成される合成音が音声記号および韻律情報に適合する合成音生成用データを前記小規模データベースより選択する合成音生成用データ選択手段と、前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応する音声素片を、前記大規模データベースの中から選択する適合音声素片選択手段と、前記適合音声素片選択手段で選択された前記音声素片を接続することにより合成音を生成する音声素片接続手段とを備えることを特徴とする。【００３０】
この構成によると、合成音生成用データ選択手段が、小規模データベースより合成音生成用データを選択する。また、適合音声素片選択手段が、大規模データベースより、選択された合成音生成用データに対応する高品質な音声素片を選択する。このように、２段階で音声素片を選択するようにすることにより、高音質の音声素片を高速に選択することができる。【００３１】
また、前記大規模データベースは、コンピュータネットワークを介して前記音声合成装置と接続されたサーバに設けられており、前記適合音声素片選択手段は、前記サーバに設けられた前記大規模データベースの中から前記音声素片を選択するようにしてもよい。【００３２】
大規模データベースをサーバに置くことにより、端末は、無駄な記憶容量を必要とせずに、最小な構成で音声合成装置を構成することができる。【００３３】
また、上述の音声合成装置は、さらに、前記合成音生成用データ選択手段で選択された音声素片を接続することにより、簡易合成音を生成する小規模音声素片接続手段と、前記簡易合成音の韻律情報を修正するための情報を受け付け、当該情報に基づいて前記韻律情報を修正する韻律情報修正手段とを備える。そして、前記合成音生成用データ選択手段は、前記簡易合成音の韻律情報が修正された場合に、生成される合成音が音声記号および修正後の前記韻律情報に適合する合成音生成用データを前記小規模データベースより再選択して、前記小規模音声素片接続手段に前記再選択した合成音声生成用データを出力する。そして、前記適合音声素片選択手段は、前記修正と前記再選択とで決定された前記合成音生成用データを受け取り、当該合成音生成用データに対応する音声素片を前記大規模データベースの中から選択するようにしてもよい。【００３４】
韻律情報を修正することにより合成音生成用データが再選択される。このような、韻律情報の修正および合成音生成用データの再選択を繰返しながら、ユーザが所望する合成音生成用データを選択する。また、大規模データベースからの音声素片の選択は、最後に１度だけ行えばよい。このため、高音質な合成音を効率的に作成することができる。【００３５】
なお、本発明は、このような特徴的な手段を備える音声合成装置として実現することができるだけでなく、音声合成装置に含まれる特徴的な手段をステップとする音声合成方法として実現したり、音声合成方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００３６】
本発明によると、音声コンテンツの編集を高速に実行することを可能とし、音声コンテンツを手軽に作成ができる音声合成装置を提供することができる。【００３７】
本発明の音声合成装置によれば、合成音の編集処理としては、端末のみで小規模データベースを用いて合成音を作成できる。また韻律修正手段により、ユーザによる合成音の編集処理が可能となる。これにより、携帯端末など比較的小規模なリソースの端末においても音声コンテンツの編集を可能とすることができる。また、端末側で、小規模データベースを用いて合成音を作成できるので、編集した合成音を、端末のみで再生し、ユーザは、再生された合成音を試聴することができる。【００３８】
また、ユーザは、編集作業が完了した後、サーバに保持されている大規模データベースを用いて高音質化処理が可能となる。このとき、対応データベースにおいて、既に決定されている小規模音声素片系列と大規模データベースの候補とが対応付けられている。このため、大規模音声素片選択部による素片の選択は、改めて素片を再選択する場合と比較して、限定された探索空間を探索するのみでよいので計算量を大幅に削減することができる。例えば大規模音声素片の例としては数ＧＢ以上のシステムがあり、これに対し小規模音声素片の例としては０．５ＭＢ程度のものもある。【００３９】
さらに、大規模データベースに記憶されている素片取得のための端末とサーバとの間の通信は、高品質化処理を行なう際の１度だけ行なえばよい。このため、通信に伴う時間的ロスを低減できる。すなわち、編集作業と、高音質化処理とを分離することにより、音声コンテンツの編集作業に要するレスポンスを向上させることができる。
【図面の簡単な説明】
【００４０】
【図１】図１は、従来の多段素片選択型音声合成装置の構成図である。
【図２】図２は、本発明の実施の形態１における多重品質音声合成装置の構成図である。
【図３】図３は、本発明の実施の形態１の対応ＤＢの例である。
【図４】図４は、本発明の実施の形態１における多重品質音声合成装置をシステムとして実現した場合の概念図である。
【図５】図５は、本発明の実施の形態１における多重品質音声合成装置の動作を示すフローチャートである。
【図６】図６は、本発明の実施の形態１の高音質化処理の動作例を示す図である。
【図７】図７は、大規模音声素片ＤＢに保持されている音声素片群に対して階層的クラスタリングを行った場合の概念図である。
【図８】図８は、本発明の実施の形態１の変形例１における多重品質音声合成処理のフローチャートである。
【図９】図９は、本発明の実施の形態１の変形例２における多重品質音声合成処理のフローチャートである。
【図１０】図１０は、本発明の実施の形態１の変形例３における多重品質音声合成処理のフローチャートである。
【図１１】図１１は、本発明の実施の形態１の変形例４における多重品質音声合成処理のフローチャートである。
【図１２】図１２は、統計モデルによる音声合成方式の一つであるＨＭＭ音声合成方法を用いたテキスト音声合成装置の構成図である。
【図１３】図１３は、本発明の実施の形態２における多重品質音声合成装置の構成図である。
【図１４】図１４は、本発明の実施の形態２における多重品質音声合成装置の動作を示すフローチャートである。
【図１５】図１５は、本発明の実施の形態２の高音質化処理の動作例を示す図である。
【図１６】図１６は、大規模音声素片ＤＢに保持されている音声素片群に対してコンテキストクラスタリングを行なった場合の概念図である。
【図１７】図１７は、本発明の実施の形態２の対応ＤＢの例である。
【図１８】図１８は、本発明の実施の形態２の高音質化処理において、素片単位に複数の状態のＨＭＭが割り当てられている場合の動作例を示す図である。
【図１９】図１９は、本発明の実施の形態３に係る多重品質音声合成システムの構成を示すブロック図である。
【図２０】図２０は、実施の形態３に係る多重品質音声合成システムによる処理の流れを示すフローチャートである。
【図２１】図２１は、実施の形態３に係る多重品質音声合成システムによる処理の流れを示すフローチャートである。
【符号の説明】
【００４１】
１０１  小規模音声素片ＤＢ
１０２  小規模音声素片選択部
１０３  小規模音声素片接続部
１０４  韻律修正部
１０５  大規模音声素片ＤＢ
１０６、５０６  対応ＤＢ
１０７  音声素片候補取得部
１０８  大規模音声素片選択部
１０９  大規模音声素片接続部
５０１  ＨＭＭモデル
５０２  ＨＭＭ音声合成部
５０３  合成部
【発明を実施するための最良の形態】
【００４２】
以下、本発明の実施の形態について、図面を参照しながら説明する。【００４３】
（実施の形態１）
本発明の実施の形態１では、音声素片ＤＢを小規模音声素片ＤＢと大規模音声素片ＤＢとに階層化することにより、音声コンテンツの編集作業を効率化することを特徴とする。【００４４】
図２は、本発明の実施の形態１における多重品質音声合成装置の構成図である。【００４５】
多重品質音声合成装置は、複数の品質の音声を合成する装置であり、小規模音声素片ＤＢ１０１と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０４と、大規模音声素片ＤＢ１０５と、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを含む。【００４６】
小規模音声素片ＤＢ１０１は、小規模な音声素片を保持するデータベースである。小規模音声素片ＤＢ１０１に記憶されている音声素片のことを、本明細書中では、特に「小規模音声素片」という。【００４７】
小規模音声素片選択部１０２は、作成する合成音の目標となる音韻情報と韻律情報とを入力として受け、小規模音声素片ＤＢ１０１に保持されている音声素片の中から最適な音声素片系列を選択する処理部である。【００４８】
小規模音声素片接続部１０３は、小規模音声素片選択部１０２により選択された音声素片系列を接続して合成音を生成する処理部である。【００４９】
韻律修正部１０４は、韻律情報を修正するための情報のユーザによる入力を受け付け、多重品質音声合成装置が作成する合成音の目標となる韻律情報を修正する処理部である。【００５０】
大規模音声素片ＤＢ１０５は、大規模な音声素片を保持するデータベースである。大規模音声素片ＤＢ１０５に記憶されている音声素片のことを、本明細書中では、特に「大規模音声素片」という。【００５１】
対応ＤＢ１０６は、小規模音声素片ＤＢ１０１に保持されている音声素片と大規模音声素片ＤＢ１０５に保持されている音声素片の対応関係を示す情報を保持するデータベースである。【００５２】
音声素片候補取得部１０７は、小規模音声素片選択部１０２により選択された音声素片系列を入力として受け、対応ＤＢ１０６に記憶されている音声素片の対応関係を示す情報に基づいて、入力された音声素片系列の各音声素片に対応する音声素片候補を、ネットワーク１１３などを介して大規模音声素片ＤＢ１０５から取得する処理部である。【００５３】
大規模音声素片選択部１０８は、合成音の目標となる、小規模音声素片選択部１０２が入力として受けた音韻情報と小規模音声素片選択部１０２が入力として受けた韻律情報または韻律修正部１０４により修正された韻律情報とを入力として受け、音声素片候補取得部１０７により選択された音声素片候補の中から最適な音声素片系列を選択する処理部である。【００５４】
大規模音声素片接続部１０９は、大規模音声素片選択部１０８により選択された音声素片系列を接続して合成音を生成する処理部である。【００５５】
図３は、対応ＤＢ１０６に記憶されている、小規模音声素片ＤＢ１０１に保持されている音声素片と大規模音声素片ＤＢ１０５に保持されている音声素片の対応関係を示す情報の一例を示す図である。【００５６】
同図に示されるように、対応ＤＢ１０６の対応関係を示す情報には、「小規模音声素片番号」と「大規模音声素片番号」とが対応付けられて記憶されている。「小規模音声素片番号」とは、小規模音声素片ＤＢ１０１に記憶されている音声素片を識別するための音声素片番号であり、「大規模音声素片番号」とは、大規模音声素片ＤＢ１０５に記憶されている音声素片を識別するための音声素片番号である。例えば、小規模音声素片番号「２」の音声素片には、大規模音声素片番号「１」および「２」の音声素片が対応付けられている。【００５７】
なお、番号が同一の音声素片は同一の音声素片を示すものとする。すなわち、小規模音声素片番号「２」の音声素片と大規模音声素片番号「２」の音声素片とは同一の音声素片を示す。【００５８】
図４は、本実施の形態に係る多重品質音声合成装置をシステムとして実現した場合の概念図である。【００５９】
多重品質音声合成システムは、ネットワーク１１３を介して相互に接続された端末１１１とサーバ１１２とを備えており、端末１１１とサーバ１１２との協調動作により、多重品質音声合成装置を実現する。【００６０】
端末１１１は、小規模音声素片ＤＢ１０１と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０４と、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とで構成される。サーバ１１２は、大規模音声素片ＤＢ１０５で構成される。【００６１】
このように多重品質音声合成システムを構成することにより、端末１１１に要求される記憶容量は大きくなくて良い。また大規模音声素片ＤＢ１０５は、端末１１１に設ける必要はなく、サーバ１１２が集中して保持しておけばよい。【００６２】
次に、本実施の形態に係る多重品質音声合成装置の動作を図５に示すフローチャートを用いて説明する。多重品質音声合成装置の動作は、合成音の編集処理と、編集された合成音の高音質化処理とに大きく分けられる。以下、合成音の編集処理と、高音質化処理とに分けて順に説明を行う。【００６３】
＜編集処理＞
まず、合成音の編集処理について説明する。前処理として、ユーザにより入力されたテキスト情報が解析され、音韻系列とアクセント記号を元に韻律情報が生成される（ステップＳ００１）。韻律情報の生成の方法は特に限定されるものではなく、例えば、テンプレートを参照して生成するようにしてもよいし、数量化Ｉ類を用いて推定するようにしても良い。また、韻律情報は外部から直接入力されても良い。【００６４】
例えば、「あらゆる」というテキストデータ（音素情報）が取得され、その音素情報に含まれる各音素と各韻律とを含む韻律情報群が出力される。この韻律情報群は、音素“ａ”およびこれに対応する韻律を示す韻律情報ｔ1と、音素“ｒ”およびこれに対応する韻律を示す韻律情報ｔ2と、音素“ａ”およびこれに対応する韻律を示す韻律情報ｔ3と、音素“ｙ”およびこれに対応する韻律を示す韻律情報ｔ4と、以下同様に“ｕ”，“ｒ”，“ｕ”にそれぞれ対応する韻律情報ｔ5〜ｔ7とを少なくとも含む。【００６５】
小規模音声素片選択部１０２は、ステップＳ００１により得られた韻律情報ｔ1〜ｔ7に基づいて、小規模音声素片ＤＢ１０１からターゲット韻律（ｔ1〜ｔ7）との距離（ターゲットコスト（Ｃｔ））と、音声素片の接続性（接続コスト（Ｃｃ））とを考慮して、最適な音声素片系列（Ｕ＝ｕ1，ｕ2，…，ｕn）を選択する（ステップＳ００２）。具体的には次式（１）に示すコストが最小となる音声素片系列をビタビアルゴリズムにより探索する。ターゲットコストと接続コストの算出法は特に限定するものではないが、例えば、ターゲットコストは、韻律情報（基本周波数・継続時間長・パワー）の差分の重み付け和で計算するようにすればよい。また、接続コストは、ｕi-1の終端とｕiの始端のケプストラム距離を用いて計算するようにすればよい。【００６６】
【数１】
2007141993.tif 000003
また、【００６７】
【数２】
2007141993.tif 000004
は、Ｕ＝ｕ1，ｕ2，…，ｕnを変化させた時に、括弧内の値が最小となるＵの系列を示す。【００６８】
小規模音声素片接続部１０３は、小規模音声素片選択部１０２により選択された音声素片系列を用いて音声波形を合成し、合成音を出力することによりユーザに提示する（ステップＳ００３）。音声波形を合成する方法は特に限定されるものではない。【００６９】
韻律修正部１０４は、ユーザが合成音に満足しているか否かの入力を受け付ける（ステップＳ００４）。ユーザが合成音に満足している場合には（ステップＳ００４でＹＥＳ）、編集処理が終了し、ステップＳ００６以降の処理が実行される。【００７０】
ユーザが合成音に満足していない場合には（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正するための情報のユーザによる入力を受け付け、ターゲットとなる韻律情報を修正する（ステップＳ００５）。「韻律情報の修正」は、例えば、アクセント位置の変更、基本周波数の変更、継続時間長の変更などを含む。これにより、ユーザは、現状の合成音の韻律で満足できない箇所を修正することができ、編集された韻律情報Ｔ´＝ｔ´1，ｔ´2，…，ｔ´nを作成することができる。修正が終了すると、ステップＳ００２に戻る。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより、ユーザは自分が望む韻律の合成音を作成することが可能である。このようにして選択された音声素片系列をＳ＝ｓ1，ｓ2，…，ｓnとする。【００７１】
なお、韻律修正部１０４のインタフェースは特に限定するものではない。例えば、スライダーのようなもので韻律情報を修正するようにしてもよいし、女子高校生風、または関西弁風などのように直感的に表現された韻律情報をユーザが指定するようにしても良い。さらに、ユーザが音声により韻律情報を入力するようにしても良い。【００７２】
＜高音質化処理＞
次に高音質化の処理の流れを説明する。【００７３】
音声素片候補取得部１０７は、編集処理で最後に確定した音声素片系列（Ｓ＝ｓ1，ｓ2，…，ｓn）を元に、大規模音声素片ＤＢ１０５から音声素片候補を取得する（ステップＳ００６）。すなわち、音声素片候補取得部１０７は、小規模音声素片ＤＢ１０１に保持されている音声素片と大規模音声素片ＤＢ１０５に保持されている音声素片との対応関係を示す情報を保持する対応ＤＢ１０６を用いて、音声素片系列（Ｓ＝ｓ1，ｓ2，…，ｓn）を構成する各音声素片に対応する音声素片候補を大規模音声素片ＤＢ１０５から取得する。なお、対応ＤＢ１０６の作成方法については後述する。【００７４】
図６を用いて、音声素片候補取得部１０７による音声素片候補取得処理（ステップＳ００６）について具体的に説明する。図６の破線枠６０１で囲った部分は、「ａｒａｙｕｒｕ」という音素列に対して、編集処理（ステップＳ００１〜Ｓ００５）で確定された小規模音声素片ＤＢ１０１の音声素片系列（Ｓ＝ｓ1，ｓ2，…，ｓ7）を示している。また、図６は、対応ＤＢ１０６に基づいて、各小規模音声素片（ｓi）に対応する大規模音声素片ＤＢ１０５の音声素片候補群を取得する様子を示している。例えば、図６の例では、音素「ａ」として編集処理で決定された小規模音声素片ｓ1は、対応ＤＢ１０６を用いることにより大規模音声素片群ｈ11，ｈ12，ｈ13，ｈ14に展開することができる。すなわち、大規模音声素片群ｈ11，ｈ12，ｈ13，ｈ14は、小規模音声素片ｓ1に音響的に類似した複数の実音声波形（または実音声波形に基づく分析パラメータ）である。【００７５】
音素「ｒ」に対応する小規模音声素片ｓ2についても、対応ＤＢ１０６を用いることにより、大規模音声素片群ｈ21，ｈ22，ｈ23に展開することができる。以下同様に、ｓ3，…，ｓ7に対しても対応ＤＢ１０６に基づいて音声素片候補を取得することができる。すなわち、同図に示す大規模音声素片候補群系列６０２は、小規模音声素片系列Ｓに対応する大規模音声素片候補群の系列を示している。【００７６】
大規模音声素片選択部１０８は、ユーザにより編集された韻律情報に最適な音声素片系列を、上述の大規模音声素片候補群系列６０２の中から選択する（ステップＳ００７）。選択の方法は、ステップＳ００２と同一の方法でよいので説明を省略する。図６の例では、Ｈ＝ｈ13，ｈ22，ｈ33，ｈ43，ｈ54，ｈ61，ｈ74が大規模音声素片候補群系列６０２から選択されたものとしている。【００７７】
結果として、Ｈ＝ｈ13，ｈ22，ｈ33，ｈ43，ｈ54，ｈ61，ｈ74は、大規模音声素片ＤＢ１０５に保持されている音声素片群からユーザにより編集された韻律情報を実現する最適な音声素片系列として選択されることになる。【００７８】
大規模音声素片接続部１０９は、ステップＳ００７で選択された大規模音声素片ＤＢ１０５に保持されている音声素片系列Ｈを接続し、合成音を生成する（ステップＳ００８）。接続の方法は特に限定しない。【００７９】
なお、素片の接続の際には各素片を適宜変形して接続するようにしても良い。【００８０】
以上の処理により、編集処理で編集した簡易版の合成音に韻律・声質が類似し、かつ高音質な合成音を生成することが可能になる。【００８１】
＜対応ＤＢの作成方法＞
次に対応ＤＢ１０６について詳しく説明する。【００８２】
対応ＤＢ１０６は、上述したように、小規模音声素片ＤＢ１０１に保持されている音声素片と大規模音声素片ＤＢ１０５に保持されている音声素片との対応関係を示す情報を保持するデータベースである。【００８３】
具体的には、高音質化処理を行なう際に、編集処理で作成した簡易合成音に類似している音声素片を大規模音声素片ＤＢ１０５から選択するために用いられる。【００８４】
小規模音声素片ＤＢ１０１は、大規模音声素片ＤＢ１０５が保持する素片群の部分集合であり、以下の関係を満たすことが本発明の特徴である。【００８５】
まず、小規模音声素片ＤＢ１０１に保持されている音声素片は、大規模音声素片ＤＢに保持されている１以上の音声素片に対応付けられている。さらに、対応ＤＢ１０６によって対応付けられた大規模音声素片ＤＢ１０５の音声素片は、小規模音声素片ＤＢの音声素片と音響的に類似している。類似の基準としては、韻律情報（基本周波数、パワー情報、継続時間長など）および声道情報（フォルマント、ケプストラム係数など）がある。【００８６】
これによって、小規模音声素片ＤＢ１０１に保持された音声素片系列を用いて合成された簡易合成音と比較して、韻律および声質が近い音声素片を、高音質化処理の際に選択することができる。また、大規模音声素片ＤＢ１０５は、豊富な候補の中から最適な音声素片候補を選択することが可能である。したがって、上述の大規模音声素片選択部１０８で音声素片を選択する際のコストを小さくすることができる。これによって、合成音の音質を向上させることができるという効果を得ることができる。【００８７】
なぜならば、小規模音声素片ＤＢ１０１が保持している音声素片は限定されている。このため、ターゲット韻律に近い合成音を生成することは可能であるが、音声素片間の接続性が高いことは保証できない。一方、大規模音声素片ＤＢ１０５は、大量のデータを保持することが可能である。このため、大規模音声素片選択部１０８は、大規模音声素片ＤＢ１０５から音声素片間の接続性の高い音声素片系列を選択することが可能である（例えば、特許文献１記載の方法を用いることにより実現可能である）。【００８８】
上記の対応付けを行なうために、クラスタリングの技術を用いる。「クラスタリング」とは複数の特性によって決定された個体間の類似性の指標をもとに、個体をいくつかの集合に分類するための手法である。【００８９】
クラスタリングの方法は大きく分けて、類似した個体を併合していくつかの集合にまとめて行く階層的クラスタリング（hierarchical clustering method）と、類似した個体が結果的に同じ集合に入るように元の集合を分割する非階層的クラスタリング（non-hierarchical clustering method）とに大別できる。本実施の形態では、具体的にクラスタリングの手法を限定するものではなく、結果として類似した音声素片を同じ集合にまとめることができればよい。例えば、階層的クラスタリングでは、『ヒープを用いた階層的クラスタリング』という手法が知られている。また、非階層的クラスタリングでは『ｋ−ｍｅａｎｓ法』と呼ばれる手法が知られている。【００９０】
まず、階層的クラスタリングを用いて音声素片をいくつかの集合にまとめる方法について説明する。図７は、大規模音声素片ＤＢ１０５に保持されている音声素片群に対し、階層的クラスタリングを行った場合の概念図を表すものである。【００９１】
初期階層３０１は、大規模音声素片ＤＢ１０５に保持されている音声素片それぞれから構成される。同図の例において、大規模音声素片ＤＢ１０５に保持されている音声素片は四角形で示されている。また、四角形に付与された数字は、音声素片を識別するための識別子、すなわち音声素片番号である。【００９２】
第１の階層のクラスタ群３０２は、階層的クラスタリングにより第１の階層としてクラスタリングされたクラスタの集合であり、各クラスタは円形で示されている。クラスタ３０３は、第１の階層としてクラスタリングされたクラスタの１つであり、具体的には、音声素片番号「１」および「２」の音声素片により構成されている。各クラスタに示されている数字は、クラスタを代表する音声素片の識別子である。例えば、クラスタ３０３を代表する音声素片は、音声素片番号「２」の音声素片である。このとき、各クラスタにおいて、クラスタを代表する代表音声素片を決定する必要があるが、代表音声素片の決定方法としては、クラスタに属する音声素片群のセントロイドを用いる方法がある。すなわち、クラスタに属する音声素片群のセントロイドに最も近い音声素片をクラスタの代表とする。図の例では、クラスタ３０３を代表する音声素片は音声素片番号「２」の音声素片となる。同様に他のクラスタについても、代表音声素片を決定することができる。【００９３】
なお、クラスタに属する音声素片群のセントロイドの求め方としては、音声素片群に含まれる各音声素片の韻律情報および声道情報を要素とするベクトルを考えた場合に、複数のベクトルのベクトル空間中における重心をクラスタのセントロイドとして求める。【００９４】
また、代表音声素片の求め方としては、上述の音声素片群に含まれる各音声素片のベクトルとクラスタのセントロイドのベクトルとの間で類似度を求め、類似度が最大となる音声素片を代表素片として求める。なお、クラスタのセントロイドのベクトルと各音声素片のベクトルとの間で距離（例えば、ユークリッド距離）を求め、距離が最小となる音声素片を代表素片として求めてもよい。【００９５】
第２の階層のクラスタ群３０４は、第１の階層のクラスタ群３０２に属するクラスタを、さらに上述の類似度に基づいてクラスタリングしたものである。したがってクラスタの数は第１の階層のクラスタ群３０２のクラスタ数よりも少ない。このとき、第２の階層のクラスタ３０５についても同様に代表音声素片を決定することができる。同図の例の場合、素片番号「２」の音声素片がクラスタ３０５を代表する音声素片である。【００９６】
このように階層的クラスタリングを行なうことによって、大規模音声素片ＤＢ１０５は、第１の階層のクラスタ群３０２や、第２の階層のクラスタ群３０４のように分割することができる。【００９７】
その際、第１の階層のクラスタ群３０２の各クラスタの代表音声素片のみからなる素片群を小規模音声素片ＤＢ１０１として利用することができる。同図の例では、素片番号が２，３，６，８，９，１２，１４，１５の音声素片を小規模音声素片ＤＢ１０１として利用することができる。また、同様に第２の階層のクラスタ群の各クラスタの代表音声素片のみからなる音声素片群を小規模音声素片ＤＢ１０１として利用することもできる。同図の例では、素片番号が２，８，１２，１５の音声素片を小規模音声素片ＤＢ１０１として利用することができる。【００９８】
すなわち、この関係を利用すると図３に示す対応ＤＢ１０６を構築することが可能となる。【００９９】
同図の例では、第１の階層のクラスタ群３０２を小規模音声素片として利用した場合を示している。小規模音声素片番号「２」の音声素片は、大規模音声素片ＤＢ１０５の大規模音声素片番号「１」および「２」の音声素片に対応付けられている。また、小規模音声素片番号「３」の音声素片は、大規模音声素片ＤＢ１０５の大規模音声素片番号「３」および「４」の音声素片に対応付けられる。以下同様に全ての第１の階層のクラスタ群３０２の代表音声素片と大規模音声素片ＤＢ１０５の大規模音声素片番号とを対応付けることができる。また、このように小規模音声素片番号と大規模音声素片番号との関係を予め対応付けてテーブルとして保持することにより、対応ＤＢ１０６の参照を非常に高速に行なうことが可能である。【０１００】
なお、このように階層的クラスタリングを行なうことにより、小規模音声素片ＤＢ１０１の規模をスケーラブルに変更することが可能となる。すなわち、小規模音声素片ＤＢ１０１として、第１の階層のクラスタ群３０２の代表音声素片を用いたり、第２の構成のクラスタ群３０４の代表音声素片を用いたりすることができる。したがって、端末１１１の記憶容量に応じた小規模音声素片ＤＢ１０１を構成することが可能である。【０１０１】
このとき、小規模音声素片ＤＢ１０１と大規模音声素片ＤＢ０１０５とは、上述の関係を満たしている。すなわち、小規模音声素片ＤＢ１０１として、第１の階層のクラスタ群３０２の代表音声素片を用いた場合、例えば、小規模音声素片ＤＢ１０１に保持されている音声素片番号「２」の音声素片は、大規模音声素片ＤＢ１０５の音声素片番号「１」および「２」の音声素片に対応する。また、音声素片番号「１」および「２」の音声素片は、上記基準によりクラスタ３０３の音声素片番号「２」の代表音声素片に類似している。【０１０２】
例えば、小規模音声素片選択部１０２が、小規模音声素片ＤＢ１０１より音声素片番号「２」の音声素片を選択した場合、音声素片候補取得部１０７は、対応ＤＢ１０６を用いて、素片番号「１」および「２」の音声素片を取得する。大規模音声素片選択部１０８は、取得した音声素片候補の中から上述の式（１）が最小になる候補、すなわち、ターゲット韻律に近く、かつ前後素片との接続性が良い音声素片を選択することになる。【０１０３】
これによって、大規模音声素片選択部１０８により選択された音声素片系列のコスト値は、小規模音声素片選択部１０２によって選択された音声素片系列のコスト値以下になることが保証できる。なぜならば、音声素片候補取得部１０７が取得する音声素片候補には、小規模音声素片選択部１０２により選択された音声素片を含み、かつ、その音声素片に類似した複数の音声素片が候補として追加されているからである。【０１０４】
なお、上述の説明では、階層型クラスタリングを用いて対応ＤＢ１０６を構成したが、非階層的クラスタリングを用いて対応ＤＢ１０６を構成するようにしてもよい。【０１０５】
例えば、ｋ−ｍｅａｎｓ法を用いればよい。ｋ−ｍｅａｎｓ法はあらかじめ設定されたクラスタ数（ｋ）になるように、要素群（ここでは音声素片群）を分割する非階層的クラスタリングである。ｋ−ｍｅａｎｓ法を用いることにより、端末１１１で必要とされる小規模音声素片ＤＢ１０１のサイズを設計時に計算することが可能である。また、ｋ個に分割された各クラスタで代表音声素片を決定し、小規模音声素片ＤＢ１０１として利用することにより階層的クラスタリングの場合と同様の効果を得ることができる。【０１０６】
なお、上記のクラスタリング処理は、あらかじめ音声素片の単位（例えば、音素や音節、モーラ、ＣＶ（Ｃ：子音、Ｖ：母音）、ＶＣＶ）で分けてクラスタリングを行なうことにより効率的にクラスタリングすることができる。【０１０７】
かかる構成によれば、端末１１１は、小規模音声素片ＤＢ１０１と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０４と、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを具備し、サーバ１１２は、大規模音声素片ＤＢ１０５を具備するような構成とすることにより、端末１１１に要求される記憶容量は大きくなくて良い。また大規模音声素片ＤＢ１０５は、サーバ１１２に集中して保持しておけばよいので、端末１１１が複数存在する場合においても、大規模音声素片ＤＢ１０５は、サーバ１１２に１つ保持しておくだけでよい。【０１０８】
このとき、編集処理としては、端末１１１のみで、小規模音声素片ＤＢ１０１を用いて合成音を作成できる。また韻律修正部１０４により、ユーザによる合成音の編集処理が可能となる。【０１０９】
さらに、編集作業が完了した後、サーバ１１２に保持されている大規模音声素片ＤＢ１０５を用いて高音質化処理が可能となるが、このとき、対応ＤＢ１０６により、既に決定されている小規模音声素片系列と大規模音声素片ＤＢ１０５の候補とが対応付けられている。このため、大規模音声素片選択部１０８による音声素片の選択は、改めて音声素片を再選択する場合と比較して、限定された探索空間を探索するのみでよいので計算量を大幅に削減することができる。【０１１０】
また、端末１１１とサーバ１１２との間の通信は、高品質化処理を行なう際に１度だけ行なえばよい。このため、通信に伴う時間的ロスを低減できる。すなわち、編集作業と高音質化処理とを分離することにより、音声コンテンツの編集作業に要するレスポンスを向上させることが可能である。なお、高音質化処理をサーバ１１２で行い、高音質化した結果を、ネットワーク１１３を介して端末１１１に送信するようにしても良い。【０１１１】
なお、本実施の形態では、小規模音声素片ＤＢ１０１を大規模音声素片ＤＢ１０５の部分集合となるように構築したが、大規模音声素片ＤＢ１０５の情報量を圧縮して小規模音声素片ＤＢ１０１を作成するようにしても良い。具体的には、サンプリング周波数を小さくしたり、量子化ビット数を小さくしたり、分析する際の分析次数を低くするなどにより圧縮するようにしても良い。その場合、対応ＤＢ１０６は、小規模音声素片ＤＢ１０１と大規模音声素片ＤＢ１０５とを一対一で対応付けるようにすれば良い。【０１１２】
本実施の形態の各構成要素を、端末とサーバでどのように分担するかにより、それぞれの負荷が異なる。また、それに伴う端末とサーバ間で通信する情報も異なり、したがって通信量も異なる。以下に構成要素の組み合わせとその効果について説明する。【０１１３】
（変形例１）
本変形例では、端末１１１は、小規模音声素片ＤＢ１０１、小規模音声素片選択部１０２、小規模音声素片接続部１０３および韻律修正部１０４を具備する。サーバ１１２は、大規模音声素片ＤＢ１０５、対応ＤＢ１０６、音声素片候補取得部１０７、大規模音声素片選択部１０８および大規模音声素片接続部１０９を具備する。【０１１４】
本変形例の動作を図８のフローチャートを用いて説明する。個々のステップは既に説明しているので詳細な説明は省略する。【０１１５】
端末１１１を用いて編集処理を行なう。具体的には、韻律情報が生成される（ステップＳ００１）。次に、小規模音声素片選択部１０２は、小規模音声素片ＤＢ１０１から小規模音声素片系列を選択する（ステップＳ００２）。小規模音声素片接続部１０３は、小規模音声素片を接続して簡易版合成音を生成する（ステップＳ００３）。ユーザは生成された合成音を聞いて満足するかどうかの判断を行なう（ステップＳ００４）。満足しなかった場合は（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正する（ステップＳ００５）。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより目的の合成音が生成される。【０１１６】
ユーザが簡易版合成音に満足した場合は（ステップＳ００４でＹＥＳ）、端末１１１は、サーバ１１２に対して、ステップＳ００２で選択した小規模音声素片系列の識別子および確定された韻律情報をサーバに送信する（ステップＳ０１０）。【０１１７】
次にサーバ側の動作を説明する。音声素片候補取得部１０７は、端末１１１から取得した小規模音声素片系列の識別子に基づいて、対応ＤＢ１０６を参照し、大規模音声素片ＤＢ１０５から選択候補となる音声素片群を取得する（ステップＳ００６）。大規模音声素片選択部１０８が、取得された音声素片候補群から、端末１１１から受信した韻律情報に基づいて最適な大規模音声素片系列を選択する（ステップＳ００７）。大規模音声素片接続部１０９が、選択された大規模音声素片系列を接続して高音質版合成音を生成する（ステップＳ００８）。【０１１８】
サーバ１１２は、以上のようにして作成された高音質版合成音を端末１１１に送信する。以上の処理により高音質な合成音を作成することができる。【０１１９】
以上のように端末１１１およびサーバ１１２を構成することにより、端末１１１は、小規模音声素片ＤＢ１０１と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０５とだけで構成することができるため、必要なメモリ容量を小さくできる。また、端末１１１では、小規模音声素片のみを用いて合成音を生成するので、計算量も小さくできる。また、端末１１１からサーバ１１２への通信は、韻律情報と小規模音声素片系列の識別子のみであり、通信量も非常に小さくできる。また、サーバ１１２から端末１１１への通信は、高音質化された合成音声を１度送信するだけでよく、通信量を小さくすることが可能である。【０１２０】
（変形例２）
本変形例では、端末１１１は、小規模音声素片ＤＢ１０１、小規模音声素片選択部１０２、小規模音声素片接続部１０３、韻律修正部１０４、対応ＤＢ１０６および音声素片候補取得部１０７を具備する。サーバ１１２は、大規模音声素片ＤＢ１０５、大規模音声素片選択部１０８および大規模音声素片接続部１０９を具備する。【０１２１】
本変形例と変形例１との違いは、対応ＤＢ１０６を端末１１１に具備する点である。【０１２２】
本変形例の動作を図９のフローチャートを用いて説明する。個々のステップは既に説明しているので詳細な説明は省略する。【０１２３】
端末１１１を用いて編集処理を行なう。具体的には、韻律情報が生成される（ステップＳ００１）。次に、小規模音声素片選択部１０２は、小規模音声素片ＤＢ１０１から小規模音声素片系列を選択する（ステップＳ００２）。小規模音声素片接続部１０３は、小規模音声素片を接続して簡易版合成音を生成する（ステップＳ００３）。ユーザは生成された合成音を聞いて満足するかどうかの判断を行なう（ステップＳ００４）。満足しなかった場合は（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正する（ステップＳ００５）。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより目的の合成音が生成される。【０１２４】
ユーザが簡易版合成音に満足した場合は（ステップＳ００４でＹＥＳ）、音声素片候補取得部１０７は、対応ＤＢ１０６を用いて、対応する大規模音声素片ＤＢ１０５の候補となる素片識別子を取得する（ステップＳ００６）、端末１１１は、大規模音声素片の選択候補群の識別子および確定された韻律情報をサーバ１１２に送信する（ステップＳ０１１）。【０１２５】
次にサーバ側の動作を説明する。大規模音声素片選択部１０８が、取得された音声素片候補群から、端末１１１から受信した韻律情報に基づいて最適な大規模音声素片系列を選択する（ステップＳ００７）。大規模音声素片接続部１０９が、選択された大規模音声素片系列を接続して高音質版合成音を生成する（ステップＳ００８）。【０１２６】
サーバ１１２は、以上のようにして作成された高音質版合成音を端末１１１に送信する。以上の処理により高音質な合成音を作成する。【０１２７】
以上のように端末１１１およびサーバ１１２を構成することにより、端末１１１は、小規模音声素片ＤＢ１０１と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０４と、対応ＤＢ１０６とだけで構成することができるため、必要なメモリ容量を小さくできる。また、端末１１１では、小規模音声素片のみを用いて合成音を生成するので、計算量も小さくできる。対応ＤＢ１０６を端末１１１側で具備することにより、サーバ１１２の処理を軽減することが可能である。また、端末１１１からサーバ１１２への通信は、韻律情報と音声素片候補群の識別子のみである。素片候補群に関しても識別子のみの送信でよいため、通信量も非常に小さくできる。また、サーバ１１２は、音声素片候補を取得する処理を行なわなくてもよいため、サーバ１１２に対する処理負荷を軽減することができる。また、端末１１１への通信は、高音質化された合成音声を１度送信するだけでよく、通信量を小さくすることが可能である。【０１２８】
（変形例３）
本変形例では、端末１１１は、小規模音声素片ＤＢ１０１、小規模音声素片選択部１０２、小規模音声素片接続部１０３、韻律修正部１０４、対応ＤＢ１０６、音声素片候補取得部１０７、大規模音声素片選択部１０８および大規模音声素片接続部１０９を具備する。サーバ１１２は、大規模音声素片ＤＢ１０５を具備する。【０１２９】
本変形例と変形例２との違いは、大規模音声素片選択部１０８および大規模音声素片接続部１０９を端末１１１に具備する点である。【０１３０】
本変形例の動作を図１０のフローチャートを用いて説明する。個々のステップは既に説明しているので詳細な説明は省略する。【０１３１】
端末１１１を用いて編集処理を行なう。具体的には、韻律情報が生成される（ステップＳ００１）。次に、小規模音声素片選択部１０２は、小規模音声素片ＤＢ１０１から小規模音声素片系列を選択する（ステップＳ００２）。小規模音声素片接続部１０３は、小規模音声素片を接続して簡易版合成音を生成する（ステップＳ００３）。ユーザは生成された合成音を聞いて満足するかどうかの判断を行なう（ステップＳ００４）。満足しなかった場合は（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正する（ステップＳ００５）。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより目的の合成音が生成される。【０１３２】
ユーザが簡易版合成音に満足した場合は（ステップＳ００４でＹＥＳ）、端末１１１は、対応ＤＢ１０６を用いて、対応する大規模音声素片ＤＢ１０５の候補となる素片識別子を取得し、大規模音声素片の選択候補群の識別子をサーバに送信する（ステップＳ００９）。【０１３３】
次にサーバ側の動作を説明する。サーバ１１２は、受信した選択候補群の識別子に基づいて大規模音声素片ＤＢ１０５から音声素片候補群を選択し、端末１１１に送信する（ステップＳ００６）。【０１３４】
次に端末１１１では、大規模音声素片選択部１０８が、取得した音声素片候補群から、既に確定した韻律情報に基づいて最適な大規模音声素片系列を算出する（ステップＳ００７）。【０１３５】
大規模音声素片接続部１０９が、選択された大規模音声素片系列を接続して高音質版合成音を生成する（ステップＳ００８）。【０１３６】
以上のように端末１１１およびサーバ１１２を構成することにより、サーバ１１２は、端末１１１から送信された音声素片候補群の識別子に基づいて、素片候補を端末１１１に送信するだけでよいので、サーバ１１２の計算負荷を大幅に削減することが可能である。また、端末１１１では、対応ＤＢ１０６により、小規模音声素片に対応する限定的な音声素片候補群から最適音声素片系列を選択すればよいので、計算量はそれほど大きくなく選択することが可能である。【０１３７】
（変形例４）
本変形例では、端末１１１は、小規模音声素片ＤＢ１０１、小規模音声素片選択部１０２、小規模音声素片接続部１０３、韻律修正部１０４、大規模音声素片選択部１０８および大規模音声素片接続部１０９を具備する。サーバ１１２は、大規模音声素片ＤＢ１０５、対応ＤＢ１０６および音声素片候補取得部１０７を具備する。【０１３８】
本変形例と変形例３との違いは、対応ＤＢ１０６をサーバ１１２に具備する点である。【０１３９】
本変形例の動作を図１１のフローチャートを用いて説明する。個々のステップは既に説明しているので詳細な説明は省略する。【０１４０】
端末１１１を用いて編集処理を行なう。具体的には、韻律情報が生成される（ステップＳ００１）。次に、小規模音声素片選択部１０２は、小規模音声素片ＤＢ１０１から小規模音声素片系列を選択する（ステップＳ００２）。小規模音声素片接続部１０３は、小規模音声素片を接続して簡易版合成音を生成する（ステップＳ００３）。ユーザは生成された合成音を聞いて満足するかどうかの判断を行なう（ステップＳ００４）。満足しなかった場合は（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正する（ステップＳ００５）。ステップＳ００２からステップＳ００５までを繰り返すことにより目的の合成音が生成される。【０１４１】
ユーザが簡易版合成音に満足した場合は（ステップＳ００４でＹＥＳ）、サーバ１１２側に処理の制御が移される。【０１４２】
サーバ１１２は、対応ＤＢ１０６を用いて、対応する大規模音声素片ＤＢ１０５の候補となる音声素片群を取得し、端末１１１に対して、大規模音声素片の選択候補群を送信する（ステップＳ００６）。【０１４３】
選択候補群を受信した端末１１１では、大規模音声素片選択部１０８が取得された音声素片候補群から、既に確定した韻律情報に基づいて最適な大規模音声素片系列を算出する（ステップＳ００７）。【０１４４】
大規模音声素片接続部１０９が、選択された大規模音声素片系列を接続して高音質版合成音を生成する（ステップＳ００８）。【０１４５】
以上のように端末１１１およびサーバ１１２を構成することにより、サーバ１１２は、小規模音声素片系列の識別子を受信し、大規模音声素片ＤＢ１０５から対応ＤＢ１０６を用いて対応する音声素片候補群を端末１１１に送信するだけでよく、サーバ１１１の計算負荷を大幅に削減することができる。また、変形例３と比較すると端末１１１からサーバ１１２への通信は、小規模音声素片系列の識別子だけでよいので通信量も削減することが可能である。【０１４６】
（実施の形態２）
次に、本発明の実施の形態２に係る多重品質音声合成装置について説明する。【０１４７】
実施の形態１では、編集処理で合成音を作成する方法として、音声素片系列を接続して合成音を生成しているのに対し、本実施の形態では、ＨＭＭ（隠れマルコフモデル）音声合成方法を用いて合成音を生成する点が異なる。ＨＭＭ音声合成方法は、統計モデルに基づく音声合成法であり、統計モデルの容量がコンパクトで、かつ安定した音質の合成音を生成できるという特徴がある。ＨＭＭ音声合成方法は、公知の技術であるため、その詳細な説明は繰り返さない。【０１４８】
図１２は、統計モデルによる音声合成方式の一つであるＨＭＭ音声合成方法を用いたテキスト音声合成装置の構成図である（参考文献：特開２００２−２６８６６０号公報）。【０１４９】
テキスト音声合成装置は、学習部０３０と音声合成部０３１とを備えている。【０１５０】
学習部０３０は、音声ＤＢ（データベース）０３２と、励振源パラメータ抽出部０３３と、スペクトルパラメータ抽出部０３４と、ＨＭＭの学習部０３５とを備えている。また、音声合成部０３１は、コンテキスト依存ＨＭＭファイル０３６と、テキスト解析部０３７と、パラメータ生成部０３８と、励振源生成部０３９と、合成フィルタ０４０とを備えている。【０１５１】
学習部０３０は、音声ＤＢ０３２に格納されている音声情報を用いてコンテキスト依存ＨＭＭファイル０３６を学習させる機能をもつ。音声ＤＢ０３２には、あらかじめサンプルとして用意された多数の音声情報が格納されている。音声情報は、音声信号に、波形の各音素等の部分を識別するラベル情報（ａｒａｙｕｒｕやｎｕｕｙｏｏｋｕ）を付加したものである。【０１５２】
励振源パラメータ抽出部０３３とスペクトルパラメータ抽出部０３４とは、それぞれ音声ＤＢ０３２から取り出した音声信号ごとに、励振源パラメータ列とスペクトルパラメータ列とを抽出する。ＨＭＭの学習部０３５は、抽出された励振源パラメータ列とスペクトルパラメータ列とについて、音声ＤＢ０３２から音声信号とともに取り出したラベル情報および時間情報を用いて、ＨＭＭの学習処理を行なう。学習されたＨＭＭは、コンテキスト依存ＨＭＭファイル０３６に格納される。【０１５３】
励振源モデルのパラメータは、多空間分布ＨＭＭを用いて学習される。多空間分布ＨＭＭは、パラメータベクトルの次元が、毎回、異なることを許すように拡張されたＨＭＭであり、有声／無声フラグを含んだピッチは、このような次元が変化するパラメータ列の例である。すなわち、有声時には１次元、無声時には０次元のパラメータベクトルとなる。学習部０３０では、この多空間分布ＨＭＭによる学習を行っている。「ラベル情報」とは、具体的には、例えば、以下のようなものを指し、各ＨＭＭは、これらを属性名（コンテキスト）として持つ。
・｛先行，当該，後続｝音素
・当該音素のアクセント句内でのモーラ位置
・｛先行，当該，後続｝の品詞，活用形，活用型
・｛先行，当該，後続｝アクセント句のモーラ長，アクセント型
・当該アクセント句の位置，前後のポーズの有無
・｛先行，当該，後続｝呼気段落のモーラ長
・当該呼気段落の位置
・文のモーラ長
このようなＨＭＭは、コンテキスト依存ＨＭＭと呼ばれる。【０１５４】
音声合成部０３１は、任意の電子的なテキストから読み上げ形式の音声信号列を生成する機能をもつ。テキスト解析部０３７は、入力されたテキストを解析して、音素の配列であるラベル情報に変換する。パラメータ生成部０３８は、ラベル情報に基づいてコンテキスト依存ＨＭＭファイル０３６を検索し、得られたコンテキスト依存ＨＭＭを接続し、文ＨＭＭを構成する。パラメータ生成部０３８は、得られた文ＨＭＭから、さらにパラメータ生成アルゴリズムにより、励振源パラメータ、およびスペクトルパラメータの列を生成する。励振源生成部０３９および合成フィルタ０４０は、励振源パラメータおよびスペクトルパラメータの列に基づいて、合成音を生成する。【０１５５】
以上のようにテキスト音声合成装置を構成することによって、ＨＭＭ音声合成処理では、統計モデルによる安定した合成音を生成することが可能である。【０１５６】
図１３は、本発明の実施の形態２における多重品質音声合成装置の構成図である。図１３において、図２と同じ構成要素については同じ符号を用い、説明を省略する。【０１５７】
多重品質音声合成装置は、複数の品質の音声を合成する装置であり、ＨＭＭモデルＤＢ５０１と、ＨＭＭモデル選択部５０２と、合成部５０３と、韻律修正部１０４と、大規模音声素片ＤＢ１０５と、対応ＤＢ５０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを含む。【０１５８】
ＨＭＭモデルＤＢ５０１は、音声データに基づいて学習されたＨＭＭモデルを保持するデータベースである。【０１５９】
ＨＭＭモデル選択部５０２は、少なくとも音韻情報と韻律情報とを入力として受け、ＨＭＭモデルＤＢ５０１から最適なＨＭＭモデルを選択する処理部である。【０１６０】
合成部５０３は、ＨＭＭモデル選択部５０２により選択されたＨＭＭモデルを用いて合成音を生成する処理部である。【０１６１】
対応ＤＢ５０６は、ＨＭＭモデルＤＢ５０１に保持されているＨＭＭモデルと大規模音声素片ＤＢ１０５に保持されている音声素片とを関連付けるデータベースである。【０１６２】
本実施の形態も実施の形態１と同様に図４のような多重品質音声合成システムとして実装することができる。端末１１１は、ＨＭＭモデルＤＢ５０１と、ＨＭＭモデル選択部５０２と、合成部５０３と、韻律修正部１０４と、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とで構成される。サーバ１１２は、大規模音声素片ＤＢ１０５で構成される。【０１６３】
このように多重品質音声合成システムを構成することにより、ＨＭＭモデルのファイルはモデルベースであるため、端末１１１に要求される記憶容量を小さくすることができる（数Ｍバイト程度）。また大規模音声素片ＤＢ１０５（数百から数Ｇバイト）はサーバ１１２に集中して保持しておけばよい。【０１６４】
次に本発明の実施の形態２に係る多重品質音声合成装置の処理の流れを、図１４に示すフローチャートを用いて説明する。本実施の形態に係る多重品質音声合成装置の動作も、実施の形態１に係る多重品質音声合成装置の動作と同様に、合成音の編集処理と、編集された合成音の高音質化処理に分けられる。以下、合成音の編集処理と、高音質化処理とに分けて順に説明を行う。【０１６５】
＜編集処理＞
まず、合成音の編集について説明する。前処理として、ユーザにより入力されたテキスト情報が解析され、音韻系列とアクセント記号を元に韻律情報が生成される（Ｓ１０１）。韻律情報の生成の方法は特に限定されるものではなく、例えば、テンプレートを参照して生成するようにしてもよいし、数量化Ｉ類を用いて推定するようにしても良い。また、韻律情報は外部から直接入力されても良い。【０１６６】
ＨＭＭモデル選択部５０２は、ステップＳ１０１により得られた音韻情報および韻律情報に基づいてＨＭＭ音声合成を行なう（ステップＳ１０２）。具体的には、ＨＭＭモデル選択部５０２が、入力された音韻情報および韻律情報に基づいてＨＭＭモデルＤＢ５０１から最適なＨＭＭモデルを選択し、選択されたＨＭＭモデルから合成パラメータを生成する。その詳細については既に説明したのでここでは省略する。【０１６７】
合成部５０３は、ＨＭＭモデル選択部５０２によって生成された合成パラメータに基づき音声波形を合成する（ステップＳ１０３）。合成する方法は特に限定するものではない。【０１６８】
合成部５０３は、ステップＳ１０３により作成された合成音を出力することによりユーザに提示する（ステップＳ１０４）。【０１６９】
韻律修正部１０４は、ユーザが合成音に満足しているか否かの入力を受け付け、ユーザが満足している場合には（ステップＳ００４でＹＥＳ）、編集処理を終了し、ステップＳ１０６以降の処理が実行される。【０１７０】
ユーザが合成音に満足していない場合には（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正するための情報のユーザによる入力を受け付け、ターゲットとなる韻律情報を修正する（ステップＳ００５）。「韻律情報の修正」とは、例えば、アクセント位置の変更、基本周波数の変更、継続時間長の変更などを含む。これにより、ユーザは、現状の合成音の韻律で満足できない箇所を修正することができる。修正が終了すると、ステップＳ００２に戻る。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより、ユーザは自分が望む韻律の合成音を作成することが可能である。以上のステップにより、ユーザは、ＨＭＭ合成に基づく音声コンテンツを作成することができる。【０１７１】
＜高音質化処理＞
次に高音質化の処理の流れを説明する。図１５は、高音質化処理の動作例を示した図である。【０１７２】
音声素片候補取得部１０７は、編集処理で最後に確定したＨＭＭモデル系列（Ｍ＝ｍ1，ｍ2，…，ｍn）を元に、大規模音声素片ＤＢ１０５から音声素片候補を取得する（ステップＳ１０６）。すなわち、音声素片候補取得部１０７は、ＨＭＭモデルＤＢ５０１に保持されているＨＭＭモデルと大規模音声素片ＤＢ１０５の素片との対応関係を示す情報を保持する対応ＤＢ５０６を用いて、ステップＳ１０２の処理により選択されたＨＭＭモデルＤＢ５０１内のＨＭＭモデルに関連する大規模音声素片候補を、大規模音声素片ＤＢ１０５から取得する。【０１７３】
図１５の例では、音声素片候補取得部１０７は、音素「／ａ／」を合成するために選択されたＨＭＭモデル（ｍ１）に対応した大規模音声素片（ｈ11，ｈ12，ｈ13，ｈ14）を、対応ＤＢ５０６を参照して、大規模音声素片ＤＢ１０５より選択する。同様に、音声素片候補取得部１０７は、ＨＭＭモデルｍ２，…，ｍｎに対しても対応ＤＢ５０６を参照することにより、大規模音声素片ＤＢ１０５より大規模音声素片候補を取得することができる。対応ＤＢ５０６の作成方法については後述する。【０１７４】
大規模音声素片選択部１０８は、ステップＳ００６で取得された大規模音声素片候補から、ユーザにより編集された韻律情報に最適な音声素片系列を選択する（ステップＳ００７）。選択の方法は、実施の形態１と同一の方法でよいので説明を省略する。図１５の例では、結果としてＨ＝ｈ13，ｈ22，ｈ33，ｈ42，ｈ53，ｈ63，ｈ73の大規模音声素片系列を得ることができる。【０１７５】
大規模音声素片接続部１０９は、ステップＳ００７で選択された大規模音声素片ＤＢ１０５に保持されている音声素片系列（Ｈ＝ｈ13，ｈ22，ｈ33，ｈ42，ｈ53，ｈ63，ｈ73）を接続し、合成音を生成する（ステップＳ００８）。接続の方法は実施の形態１と同一の方法でよいので説明を省略する。【０１７６】
以上の処理により、編集処理で編集した簡易版の合成音に韻律・声質が類似し、かつ大規模音声素片ＤＢ１０５に格納された大規模音声素片を用いた高音質な合成音を生成することが可能になる。【０１７７】
＜対応ＤＢの作成方法＞
次に、対応ＤＢ１０６について詳しく説明する。【０１７８】
対応ＤＢ１０６作成時には、ＨＭＭモデルＤＢ５０１に保持されているＨＭＭモデルと大規模音声素片ＤＢ１０５に保持されている音声素片とを対応付けるために、ＨＭＭモデルの学習行程が利用される。【０１７９】
まず、ＨＭＭモデルＤＢ５０１に保持されているＨＭＭモデルの学習方法について説明する。ＨＭＭ音声合成において、ＨＭＭモデルは、通常、先行音素、当該音素、後続音素などのコンテキストの組合せからなる「コンテキスト依存モデル」と呼ばれるモデルを使用する。しかし、音素種類だけでも数十種類あるため、組合せによりコンテキスト依存モデルの総数は膨大なものになる。それに伴って、コンテキスト依存モデルのモデル当たりの学習データが小さくなるという問題がある。そこで通常は、コンテキストのクラスタリングが行なわれる。コンテキストのクラスタリング処理は公知の技術であるため、その詳細な説明は繰り返さない。【０１８０】
本実施の形態では、大規模音声素片ＤＢ１０５を用いてこのＨＭＭモデルを学習する。このときの大規模音声素片ＤＢ１０５に保持されている音声素片群に対してコンテキストクラスタリングを行なった結果の例を図１６に示す。大規模音声素片ＤＢ１０５の音声素片群７０２の各音声素片は四角形で表され、数字は音声素片識別子を表す。コンテキストクラスタリングでは、音声サンプルをコンテキスト（例えば、先行音素が有声音であるか等）により分類していく。このとき、図１６に示す決定木のように段階的に、音声素片をクラスタリングしていく。【０１８１】
この際、決定木のリーフノード７０３には、同一のコンテキストを持つ音声素片が分類されることとなる。図の例では、先行音素が有声音であり、先行音素が母音であり、かつ先行音素が／ａ／である音声素片（音声素片番号１および音声素片番号２の音声素片）がリーフノード７０３に分類される。リーフノード７０３については、音声素片番号１および音声素片番号２の音声素片を学習データとして、ＨＭＭモデルを学習し、モデル番号「Ａ」というＨＭＭモデルが作成される。【０１８２】
すなわち、同図において、モデル番号「Ａ」のＨＭＭモデルは、大規模音声素片ＤＢ１０５の音声素片番号１および２の音声素片から学習されることになる。なお、同図は概念図であり、実際にはさらに大量の音声素片からＨＭＭモデルが学習される。【０１８３】
この関係を利用して、モデル番号「Ａ」のＨＭＭモデルと、当該ＨＭＭモデルを学習する際に利用された音声素片（音声素片番号１および音声素片番号２の音声素片）との対応関係を示す情報が対応ＤＢ５０６に保持される。【０１８４】
以上の対応関係を用いることにより、例えば、図１７に示すような対応ＤＢ５０６を作成することができる。この例では、モデル番号「Ａ」のＨＭＭモデルは、大規模音声素片ＤＢ１０５の音声素片番号「１」および「２」の音声素片に対応付けられていることが示されている。また、モデル番号「Ｂ」のＨＭＭモデルは、大規模音声素片ＤＢ１０５の音声素片番号「３」および「４」の音声素片に対応付けられていることが示されている。以下同様に、全てのリーフノード群のＨＭＭモデルのモデル番号と大規模音声素片ＤＢ１０５の大規模音声素片番号との対応関係をテーブルとして保持することができる。また、このように、当該対応関係をテーブルとして保持することにより、ＨＭＭモデルと大規模音声素片との関連を高速に参照することが可能である。【０１８５】
このように対応ＤＢ５０６を構成することにより、編集処理で編集され、完成した合成音を生成するのに使用したＨＭＭモデルと、そのＨＭＭモデルを学習するために用いられた大規模音声素片ＤＢ１０５の音声素片とが対応付けられている。したがって、音声素片候補取得部１０７が選択した大規模音声素片ＤＢ１０５の音声素片候補は、ＨＭＭモデル選択部５０２がＨＭＭモデルＤＢ５０１から選択されたＨＭＭモデルの学習サンプルの実波形である。また、当該音声素片候補と当該ＨＭＭモデルとの韻律情報および声質情報は当然類似している。また、ＨＭＭモデルは、統計処理を行うことにより作成されている。このため、ＨＭＭモデルの学習に用いられた音声素片と比べ、再生時になまりが生じる。すなわち、学習サンプルの平均などの統計処理により本来波形が持つべき微細構造が失われている。しかし、大規模音声素片ＤＢ１０５内の音声素片は、統計処理されていないので、微細な構造をそのまま保持している。そのため、音質という観点では、ＨＭＭモデルを利用して合成部５０３が出力する合成音と比べて、高音質な合成音を得ることができるようになる。【０１８６】
すなわち、統計モデルとその学習データとの関係から韻律・声質の類似性が確保でき、かつ、統計処理を行なわず、音声の微細構造を現している音声素片をも保存していることから、高音質な合成音を生成できるという効果がある。【０１８７】
なお、上記の説明では、ＨＭＭモデルが音素単位で学習されることを前提としていたが、学習の単位は音素でなくとも良い。例えば、図１８に示すように１音素に対して、ＨＭＭモデルにおける複数の状態を保持し、各状態で個別に統計量を学習するようにしても良い。同図は、「／ａ／」という音素に対して３つの状態でＨＭＭモデルを構成した場合の例を示している。この場合、対応ＤＢ５０６は、ＨＭＭモデルにおける各状態と大規模音声素片ＤＢ１０５に格納されている音声素片とを対応付けるための情報を記憶している。【０１８８】
同図の例では、対応ＤＢ５０６を用いることにより、最初の状態「ｍ１１」を、学習に使用された大規模音声素片ＤＢ１０５の音声素片（音声素片番号１，２，３）に展開することができることを示している。また、２番目の状態「ｍ１２」を、大規模音声素片ＤＢ１０５の音声素片（音声素片番号１，２，３，４，５）に、対応ＤＢ５０６を用いて展開することができる。同様に、最終状態「ｍ１３」も、大規模音声素片ＤＢ１０５の音声素片（音声素片番号１，３，４，６）に、対応ＤＢ５０６を用いて展開することができる。【０１８９】
そして音声素片候補取得部１０７は、以下の３つの基準で音声素片候補を選択することができる。【０１９０】
（１）ＨＭＭの各状態に対応付けられた大規模音声素片の和集合を音声素片候補とする。図１８の例では、音声素片番号｛１，２，３，４，５，６｝の大規模音声素片を選択候補として選択する。【０１９１】
（２）ＨＭＭの各状態に対応付けられた大規模音声素片の積集合を音声素片候補とする。図１８の例では、音声素片番号｛１，３｝の大規模音声素片を選択候補として選択する。【０１９２】
（３）ＨＭＭの各状態に対応付けられた大規模音声素片の集合で、所定の閾値以上の集合に属する音声素片を音声素片候補とする。所定の閾値を「２」とした場合、図１８の例では、例えば、音声素片番号｛１，２，３，４｝の大規模音声素片を選択候補として選択する。【０１９３】
なお、各基準は組み合わせて用いても良い。例えば、音声素片候補取得部１０７が選択する音声素片候補が一定数に満たなかった場合は、異なる基準で音声素片候補を選択するように設計しても良い。【０１９４】
かかる構成によれば、端末１１１にＨＭＭモデルＤＢ５０１と、ＨＭＭモデル選択部５０２と、合成部５０３と、韻律修正部１０４と、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを具備し、サーバ１１２は、大規模音声素片ＤＢ１０５を具備するような構成とすることにより、端末１１１に要求される記憶容量は大きくなくて良い。また、大規模音声素片ＤＢ１０５は、サーバ１１２に集中して保持しておけばよいので、端末１１１が複数存在する場合においても、大規模音声素片ＤＢ１０５は、サーバ１１２に１つ保持しておくだけでよい。【０１９５】
このとき、編集処理としては、端末１１１のみで、ＨＭＭ音声合成を用いて合成音を作成できる。また、韻律修正部１０４により、ユーザによる合成音の編集処理が可能となる。このとき、ＨＭＭ音声合成は、大規模音声素片ＤＢ１０５を探索して合成する場合と比較して、非常に高速に合成音を生成することができる。このため、合成音の編集時の計算コストを削減でき、複数回の編集を行なう場合においても、レスポンス良く合成音編集することが可能となる。【０１９６】
さらに、編集作業が完了した後、サーバ１１２に保持されている大規模音声素片ＤＢ１０５を用いて高音質化処理が可能となるが、このとき、対応ＤＢ１０６により、編集処理によって既に決定されているＨＭＭモデルのモデル番号と大規模音声素片ＤＢ１０５の音声素片候補の音声素片番号とが対応付けられているため、大規模音声素片選択部１０８による音声素片の選択は、改めて音声素片を再選択する場合と比較して、限定された探索空間を探索するのみでよいので計算量を大幅に削減することができる。【０１９７】
また、端末１１１とサーバ１１２との間の通信は、高品質化処理を行なう際に１度だけ通信を行なえばよいので、通信に伴う時間的ロスを低減できる。すなわち、編集作業と、高音質化処理とを分離することにより、音声コンテンツの編集作業に要するレスポンスを向上させることが可能である。【０１９８】
さらに、実施の形態１では、小規模ではあるが音声波形そのものを保持しなければならないことと比較して、本実施の形態では、端末側では、ＨＭＭモデルのファイルのみを保持しておけばよいので、端末に要求される記憶容量をさらに削減することができる。【０１９９】
なお、本実施の形態では、実施の形態１の変形例１〜４に示したと同様に、端末とサーバとで各構成要素を分担させてもよい。この場合、小規模音声素片ＤＢ１０１、小規模音声素片選択部１０２、小規模音声素片接続部１０３および対応ＤＢ１０６が、ＨＭＭモデルＤＢ５０１、ＨＭＭモデル選択部５０２、合成部５０３および対応ＤＢ５０６にそれぞれ対応する。【０２００】
（実施の形態３）
上述のように音声合成の作成を、音声コンテンツの作成（編集）と考えた場合、作成した音声コンテンツを第三者に提供するスタイルが考えられる。すなわち、コンテンツ作成者とコンテンツ利用者とが異なる場合である。音声コンテンツを第三者に提供する例として、携帯電話などを用いて音声コンテンツを作成する場合に、音声コンテンツの作成者がネットワークなどを通じて作成した音声コンテンツを送信し、受信者が音声コンテンツを受け取るといったような音声コンテンツの流通形態が考えられる。具体的には、電子メール等を用いた音声メッセージの送受信を考えた場合、作成者が作成した音声コンテンツを相手に送信するといったサービスが考えられる。【０２０１】
その際には、どのような情報を通信するかが重要になってくる。さらに、送信者および受信者が同じ小規模音声素片ＤＢ１０１やＨＭＭモデルＤＢ５０１を共有する場合には、流通に必要な情報を削減することができる。【０２０２】
また、音声コンテンツの編集処理を作成者が行い、受信者は、受信した音声コンテンツを試聴し、気に入った場合には高音質化処理を行なうなどといった利用方法が考えられる。【０２０３】
本発明の実施の形態３は、作成した音声コンテンツの通信方法と、高音質化処理の方法に関する。【０２０４】
図１９は、本発明の実施の形態３に係る多重品質音声合成システムの構成を示すブロック図である。本実施の形態は、編集処理を音声コンテンツ作成者が行い、高音質化処理を音声コンテンツ受信者が行なうものであり、作成者が使用する端末と受信者が使用する端末との間に通信手段を設けている点が実施の形態１および２と異なる。【０２０５】
多重品質音声合成システムは、作成端末１２１と、受信端末１２２と、サーバ１２３とを備えている。作成端末１２１と、受信端末１２２と、サーバ１２３とはネットワーク１１３を介して相互に接続されている。【０２０６】
作成端末１２１は、音声コンテンツ作成者が音声コンテンツを編集するために利用する装置である。受信端末１２２は、作成端末１２１により作成された音声端末を受信する装置である。作成端末１２１は、音声コンテンツ受信者が利用する。サーバ１２３は、大規模音声素片ＤＢ１０５を保持し、音声コンテンツの高音質化処理を行なう装置である。【０２０７】
作成端末１２１、受信端末１２２およびサーバ１２３が有する機能について、実施の形態１の構成を元に説明する。作成端末１２１は、小規模音声素片ＤＢ１０１と、対応ＤＢ１０６と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０４とにより構成される。受信端末１２２は、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とにより構成される。サーバ１２３は、大規模音声素片ＤＢ１０５により構成される。【０２０８】
図２０および図２１は、実施の形態３に係る多重品質音声合成システムによる処理の流れを示すフローチャートである。【０２０９】
多重品質音声合成システムによる処理は、編集処理、通信処理、確認処理および高音質化処理の４つの処理に分かれる。以下、それぞれの処理について説明する。【０２１０】
＜編集処理＞
編集処理は、作成端末１２１上で実行される。処理内容は実施の形態１と同一でよい。簡単に説明すると、前処理として、ユーザにより入力されたテキスト情報が解析され、音韻系列とアクセント記号とを元に韻律情報が生成される（ステップＳ００１）。【０２１１】
小規模音声素片選択部１０２は、ステップＳ００１により得られた韻律情報に基づいて、小規模音声素片ＤＢ１０１からターゲット韻律との距離（ターゲットコスト（Ｃｔ））と、音声素片の接続性（接続コスト（Ｃｃ））とを考慮して、最適な音声素片系列を選択する（ステップＳ００２）。具体的には上述の式（１）に示すコストが最小となる音声素片系列をビタビアルゴリズムにより探索する。【０２１２】
小規模音声素片接続部１０３は、小規模音声素片選択部１０２により選択された音声素片系列を用いて音声波形を合成し、合成音を出力することによりユーザに提示する（ステップＳ００３）。【０２１３】
韻律修正部１０４は、ユーザが合成音に満足しているか否かの入力を受け付け、ユーザが合成音に満足している場合には（ステップＳ００４でＹＥＳ）、編集処理が終了し、ステップＳ２０１以降の処理が実行される。【０２１４】
ユーザが合成音に満足していない場合には（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正するための情報のユーザによる入力を受け付け、ターゲットとなる韻律情報を修正する（ステップＳ００５）。修正が終了すると、ステップＳ００２に戻る。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより、ユーザは自分が望む韻律の合成音を作成することが可能である。【０２１５】
＜通信処理＞
次に通信処理について説明する。【０２１６】
作成端末１２１は、作成端末１２１上での編集処理によって確定された小規模音声素片系列および韻律情報をインターネットなどのネットワークを通じて、受信端末１２２に送信する（ステップＳ２０１）。通信の方法は特に限定するものではない。【０２１７】
受信端末１２２は、ステップＳ２０１で送信された韻律情報および小規模音声素片系列を受信する（ステップＳ２０２）。【０２１８】
以上の通信処理により、受信端末１２２は、作成端末１２１で作成された音声コンテンツを再構成可能な最小限の情報を得ることができる。【０２１９】
＜確認処理＞
次に確認処理について説明する。【０２２０】
受信端末１２２は、小規模音声素片ＤＢ１０１からステップＳ２０２により受信した小規模音声素片系列の音声素片を取得し、小規模音声素片接続部１０３により受信した韻律情報に合わせた合成音を作成する（ステップＳ２０３）。合成音の作成処理は、ステップＳ００３と同様である。【０２２１】
受信者は、ステップＳ２０３により作成された簡易合成音を確認し、受信端末１２２は、受信者の判断結果を受け付ける（ステップＳ２０４）。このとき、受信者が簡易版の合成音のままでよいと判断した場合には（ステップＳ２０４でＮＯ）、受信端末１２２は、簡易合成音を音声コンテンツとして採用する。一方、確認により、受信者が高音質化を要求した場合には（ステップＳ２０４でＹＥＳ）、ステップＳ００６以降の高音質化処理が行なわれる。【０２２２】
＜高音質化処理＞
次に高音質化処理について説明する。【０２２３】
受信端末１２２の音声素片候補取得部１０７は、小規模音声素片系列をサーバ１２３に送信し、サーバ１２３は、受信端末１２２の対応ＤＢ１０６を参照して、大規模音声素片ＤＢ１０５から音声素片候補を取得する（ステップＳ００６）。【０２２４】
大規模音声素片選択部１０８は、ステップＳ００６で取得された韻律情報と音声素片候補とから上述の式（１）を満たす大規模音声素片系列を選択する（ステップＳ００７）。【０２２５】
大規模音声素片接続部１０９は、ステップＳ００７で選択された大規模音声素片系列を接続し、高音質合成音を生成する（ステップＳ００８）。【０２２６】
以上の構成により、作成端末１２１で作成した音声コンテンツを受信端末１２２に送信する際に、韻律情報および小規模音声素片系列のみを送信するだけでよいので、作成端末１２１と受信端末１２２との間の通信量を、合成音を送信する場合と比較して小さくすることが可能である。【０２２７】
また、作成端末１２１では、小規模音声素片系列のみで合成音を編集できるため、サーバ１２３を介して高音質合成音を必ずしも作成する必要がなく、音声コンテンツ作成を簡略化することが可能となる。【０２２８】
また、受信端末１２２では、韻律情報と小規模音声素片系列とに基づいて合成音を作成し、高音質化処理を行なう前に合成音を試聴することにより確認することができる。これにより、サーバ１２３にアクセスすることなく音声コンテンツを試聴することができる。さらに試聴した音声コンテンツを高音質化したい場合にのみサーバ１２３にアクセスし高音質化することができるため、受信者は、簡易版および高音質版の音声コンテンツを自由に選択できる。【０２２９】
さらに大規模音声素片ＤＢ１０５を用いた素片選択処理では、対応ＤＢ１０６を用いることにより、小規模音声素片系列に対応付けられた音声素片のみを候補とすることができるため、受信端末１２２とサーバ１２３との間の通信量を削減でき、高音質化処理を効率的に行なえるという効果がある。【０２３０】
なお、上記の説明では、受信端末１２２が、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを保持し、サーバ１２３が、大規模音声素片ＤＢ１０５を保持していたが、サーバ１２３に、大規模音声素片ＤＢ１０５と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを持たせるようにしても良い。【０２３１】
その場合は、受信端末での処理量を削減できるという効果と、受信端末とサーバとの間の通信を削減できるという効果がある。【０２３２】
なお、上記の説明では、実施の形態１の構成を元に説明したが、実施の形態２の構成をもとに、作成端末１２１、受信端末１２２およびサーバ１２３が有する機能を構成するようにしてもよい。その場合は、作成端末１２１は、ＨＭＭモデルＤＢ５０１と、ＨＭＭモデル選択部５０２と合成部５０３と、韻律修正部１０４とで構成し、受信端末１２２は、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とで構成される。サーバ１２３は、大規模音声素片ＤＢ１０５により構成するようにすればよい。
【産業上の利用可能性】
【０２３３】
本発明は、音声合成装置に適用でき、特に、携帯電話等で利用される音声コンテンツを作成する際に利用される音声合成装置等に適用できる。
【図１】
2007141993.tif 000005
【図２】
2007141993.tif 000006
【図３】
2007141993.tif 000007
【図４】
2007141993.tif 000008
【図５】
2007141993.tif 000009
【図６】
2007141993.tif 000010
【図７】
2007141993.tif 000011
【図８】
2007141993.tif 000012
【図９】
2007141993.tif 000013
【図１０】
2007141993.tif 000014
【図１１】
2007141993.tif 000015
【図１２】
2007141993.tif 000016
【図１３】
2007141993.tif 000017
【図１４】
2007141993.tif 000018
【図１５】
2007141993.tif 000019
【図１６】
2007141993.tif 000020
【図１７】
2007141993.tif 000021
【図１８】
2007141993.tif 000022
【図１９】
2007141993.tif 000023
【図２０】
2007141993.tif 000024
【図２１】
2007141993.tif 000025
【手続補正書】
【提出日】平成19年12月27日(2007.12.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声記号および韻律情報に適合する合成音を生成する音声合成システムであって、
前記音声合成システムは、コンピュータネットワークを介して相互に接続された作成端末と、サーバと、受信端末とを備え、
前記作成端末は、
合成音を生成するために用いられる合成音生成用データを保持している小規模データベースと、
生成される合成音が音声記号および韻律情報に最も適合する合成音生成用データを前記小規模データベースより選択する合成音生成用データ選択手段とを有し、
前記サーバは、
前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースと、
前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースと、
前記対応データベースに保持されている前記対応関係情報を用いて、前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応し、かつ生成される合成音が前記音声記号および前記韻律情報に最も適合する音声素片を、前記大規模データベースの中から選択する適合音声素片選択手段とを有し、
前記受信端末は、
前記適合音声素片選択手段で選択された前記音声素片を接続することにより合成音を生成する音声素片接続手段とを有する
ことを特徴とする音声合成システム。
【請求項２】
（削除）
【請求項３】
前記作成端末は、さらに、
前記合成音生成用データ選択手段で選択された音声素片を接続することにより、簡易合成音を生成する小規模音声素片接続手段と、
前記簡易合成音の韻律情報を修正するための情報を受け付け、当該情報に基づいて前記韻律情報を修正する韻律情報修正手段とを備え、
前記合成音生成用データ選択手段は、前記簡易合成音の韻律情報が修正された場合に、生成される合成音が音声記号および修正後の前記韻律情報に適合する合成音生成用データを前記小規模データベースより再選択して、前記小規模音声素片接続手段に前記再選択した前記合成音声生成用データを出力し、
前記送信手段は、前記修正と前記再選択とで決定された前記合成音用データを送信する
ことを特徴とする請求項１に記載の音声合成システム。
【請求項４】
音声記号および韻律情報に適合する合成音を生成するサーバであって、
作成端末が生成した合成音声生成用データを受信する受信手段と、
前記小規模データベースに保持されている前記合成音生成用データよりも、多くの数の音声素片を保持している大規模データベースと、
前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースとを備える
ことを特徴とするサーバ。
【請求項５】
音声記号および韻律情報に適合する合成音を生成する音声合成装置であって、
合成音を生成するために用いられる合成音生成用データを保持している小規模データベースと、
前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースと、
生成される合成音が音声記号および韻律情報に連合する合成音生成用データを前記小規模データベースより選択する合成音生成用データ選択手段と、
前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースと、
前記対応データベースに保持されている前記対応関係情報を用いて、前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応する音声素片を、前記大規模データベースの中から選択する適合音声素片選択手段と、
前記適合音声素片選択手段で選択された前記音声素片を接続することにより合成音を生成する音声素片接続手段とを備える
ことを特徴とする音声合成装置。
【請求項６】
さらに、前記合成音生成用データ選択手段で選択された音声素片を接続することにより、簡易合成音を生成する小規模音声素片接続手段と、
前記簡易合成音の韻律情報を修正するための情報を受け付け、当該情報に基づいて前記韻律情報を修正する韻律情報修正手段とを備え、
前記合成音生成用データ選択手段は、前記簡易合成音の韻律情報が修正された場合に、生成される合成音が音声記号および修正後の前記韻律情報に適合する合成音生成用データを前記小規模データベースより再選択して、前記小規模音声素片接続手段に前記再選択した合成音声生成用データを出力し、
前記適合音声素片選択手段は、前記修正と前記再選択とで決定された前記合成音生成用データを受け取り、当該合成音生成用データに対応する音声素片を前記大規模データベースの中から選択する
ことを特徴とする請求項５に記載の音声合成装置。
【請求項７】
前記適合音声素片選択手段は、
前記対応データベースに保持されている前記対応関係情報を用いて、前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応する音声素片の候補を特定し、特定された前記音声素片の候補を前記大規模データベースより取得する音声素片取得部と、
前記音声素片取得部で取得された前記音声素片の候補の中から、生成される合成音が前記音声記号および前記韻律情報に最も適合する音声素片を選択する音声素片選択部とを有し、
前記音声素片接続手段は、前記音声素片選択部で選択された前記音声素片を接続することにより合成音を生成する
ことを特徴とする請求項５に記載の音声合成装置。
【請求項８】
前記大規模データベースは、コンピュータネットワークを介して前記音声合成装置と接続されたサーバに設けられており、
前記適合音声素片選択手段は、前記サーバに設けられた前記大規模データベースの中から前記音声素片を選択する
ことを特徴とする請求項５に記載の音声合成装置。
【請求項９】
前記小規模データベースは、前記大規模データベースに保持されている音声素片をクラスタリングした際の、各クラスタを代表する音声素片を保持している
ことを特徴とする請求項５に記載の音声合成装置。
【請求項１０】
前記小規模データベースは、前記大規模データベースに保持されている音声素片を、当該音声素片の基本周波数、継続時間長、パワー情報、フォルマントパラメータ、ケプストラム係数の少なくとも１つ以上に基づいてクラスタリングした際の、各クラスタを代表する音声素片を保持している
ことを特徴とする請求項９に記載の音声合成装置。
【請求項１１】
前記小規模データベースは、ＨＭＭ（隠れマルコフ）モデルを保持しており、
前記大規模データベースは、前記小規模データベースに保持されている前記ＨＭＭモデルを生成する際の学習サンプルである音声素片を保持している
ことを特徴とする請求項５に記載の音声合成装置。
【請求項１２】
音声記号および韻律情報に適合する合成音を生成する音声合成方法であって、
生成される合成音が音声記号および韻律情報に最も適合する合成音生成用データを、合成音を生成するために用いられる合成音生成用データを保持している小規模データベースより選択する合成音生成用データ選択ステップと、
前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースを参照して、前記合成音生成用データ選択ステップで選択された前記合成音生成用データに対応する音声素片を、前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースの中から選択する適合音声素片選択ステップと、
前記適合音声素片選択ステップで選択された前記音声素片を接続することにより合成音を生成する音声素片接続ステップとを含む
ことを特徴とする音声合成方法。
【請求項１３】
音声記号および韻律情報に適合する合成音を生成するプログラムであって、
生成される合成音が音声記号および韻律情報に最も適合する合成音生成用データを、合成音を生成するために用いられる合成音生成用データを保持している小規模データベースより選択する合成音生成用データ選択ステップと、
前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースを参照して、前記合成音生成用データ選択ステップで選択された前記合成音生成用データに対応する音声素片を、前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースの中から選択する適合音声素片選択ステップと、
前記適合音声素片選択ステップで選択された前記音声素片を接続することにより合成音を生成する音声素片接続ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項１４】
前記大規模データベースの音声素片を、韻律情報および声道情報を基準とした複数の音声素片群とした場合、当該音声素片群の代表音声素片が前記小規模データベースの合成音生成用データであり、
前記対応データベースは、前記大規模データベースの音声素片と、前記代表音声素片との対応関係を示す情報である対応関係情報を保持している
ことを特徴とする請求項１に記載の音声合成装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
を選択した場合には、結局目的の合成音を得るまでに、毎回大規模な音声素片ＤＢ００１を探索する必要がある。このため、編集時の計算コストが大きくなるという課題がある。
［００２８］
本発明は、前記従来の課題を解決するもので、音声コンテンツの編集を高速に実行することができ、音声コンテンツを手軽に作成できる音声合成装置を提供することを目的とする。
課題を解決するための手段
［００２９］
本発明のある局面に係る音声合成装置は、音声記号および韻律情報に適合する合成音を生成する音声合成装置であって、合成音を生成するために用いられる合成音生成用データを保持している小規模データベースと、前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースと、生成される合成音が音声記号および韻律情報に連合する合成音生成用データを前記小規模データベースより選択する合成音生成用データ選択手段と、前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースと、前記対応データベースに保持されている前記対応関係情報を用いて、前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応する音声素片を、前記大規模データベースの中から選択する適合音声素片選択手段と、前記適合音声素片選択手段で選択された前記音声素片を接続することにより合成音を生成する音声素片接続手段とを備えることを特徴とする。
［００３０］
この構成によると、合成音生成用データ選択手段が、小規模データベースより合成音生成用データを選択する。また、適合音声素片選択手段が、大規模データベースより、選択された合成音生成用データに対応する高品質な音声素片を選択する。このように、２段階で音声素片を選択するようにすることにより、高音質の音声素片を高速に選択することができる。
［００３１］
また、前記大規模データベースは、コンピュータネットワークを介して前記音声合成装置と接続されたサーバに設けられており、前記適合音声素片選択手段は、前記サーバに設けられた前記大規模データベースの中から前記音声素片を選択するようにしてもよい。
［００３２］
大規模データベースをサーバに置くことにより、端末は、無駄な記憶容量を必要とせずに、最小な構成で音声合成装置を構成することができる。
【手続補正書】
【提出日】平成20年9月2日(2008.9.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声記号および韻律情報に適合する合成音を生成する音声合成システムであって、
前記音声合成システムは、コンピュータネットワークを介して相互に接続された作成端末と、サーバと、受信端末とを備え、
前記作成端末は、
合成音を生成するために用いられる合成音生成用データを保持している小規模データベースと、
生成される合成音が音声記号および韻律情報に最も適合する合成音生成用データを前記小規模データベースより選択する合成音生成用データ選択手段とを有し、
前記サーバは、
前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースと、
前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースと、
前記対応データベースに保持されている前記対応関係情報を用いて、前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応し、かつ生成される合成音が前記音声記号および前記韻律情報に最も適合する音声素片を、前記大規模データベースの中から選択する適合音声素片選択手段とを有し、
前記受信端末は、
前記適合音声素片選択手段で選択された前記音声素片を接続することにより合成音を生成する音声素片接続手段とを有する
ことを特徴とする音声合成システム。
【請求項２】
前記作成端末は、さらに、
前記合成音生成用データを送信する送信手段と、
前記合成音生成用データ選択手段で選択された音声素片を接続することにより、簡易合成音を生成する小規模音声素片接続手段と、
前記簡易合成音の韻律情報を修正するための情報を受け付け、当該情報に基づいて前記韻律情報を修正する韻律情報修正手段とを備え、
前記合成音生成用データ選択手段は、前記簡易合成音の韻律情報が修正された場合に、生成される合成音が音声記号および修正後の前記韻律情報に適合する合成音生成用データを前記小規模データベースより再選択して、前記小規模音声素片接続手段に前記再選択した前記合成音生成用データを出力し、
前記送信手段は、前記修正と前記再選択とで決定された前記合成音生成用データを送信する
ことを特徴とする請求項１に記載の音声合成システム。
【請求項３】
前記大規模データベースの音声素片を、韻律情報および声道情報を基準とした複数の音声素片群とした場合、当該音声素片群の代表音声素片が前記小規模データベースの合成音生成用データであり、
前記対応データベースは、前記大規模データベースの音声素片と、前記代表音声素片との対応関係を示す情報である対応関係情報を保持している
ことを特徴とする請求項１に記載の音声合成システム。
【請求項４】
音声記号および韻律情報に適合する合成音を生成するサーバであって、
作成端末が生成した合成音生成用データを受信する受信手段と、
前記小規模データベースに保持されている前記合成音生成用データよりも、多くの数の音声素片を保持している大規模データベースと、
前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースとを備える
ことを特徴とするサーバ。
【請求項５】
音声記号および韻律情報に適合する合成音を生成する音声合成装置であって、
合成音を生成するために用いられる合成音生成用データを保持している小規模データベースと、
前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースと、
生成される合成音が音声記号および韻律情報に適合する合成音生成用データを前記小規模データベースより選択する合成音生成用データ選択手段と、
前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースと、
前記対応データベースに保持されている前記対応関係情報を用いて、前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応する音声素片を、前記大規模データベースの中から選択する適合音声素片選択手段と、
前記適合音声素片選択手段で選択された前記音声素片を接続することにより合成音を生成する音声素片接続手段とを備える
ことを特徴とする音声合成装置。
【請求項６】
さらに、前記合成音生成用データ選択手段で選択された音声素片を接続することにより、簡易合成音を生成する小規模音声素片接続手段と、
前記簡易合成音の韻律情報を修正するための情報を受け付け、当該情報に基づいて前記韻律情報を修正する韻律情報修正手段とを備え、
前記合成音生成用データ選択手段は、前記簡易合成音の韻律情報が修正された場合に、生成される合成音が音声記号および修正後の前記韻律情報に適合する合成音生成用データを前記小規模データベースより再選択して、前記小規模音声素片接続手段に前記再選択した合成音生成用データを出力し、
前記適合音声素片選択手段は、前記修正と前記再選択とで決定された前記合成音生成用データを受け取り、当該合成音生成用データに対応する音声素片を前記大規模データベースの中から選択する
ことを特徴とする請求項５に記載の音声合成装置。
【請求項７】
前記適合音声素片選択手段は、
前記対応データベースに保持されている前記対応関係情報を用いて、前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応する音声素片の候補を特定し、特定された前記音声素片の候補を前記大規模データベースより取得する音声素片取得部と、
前記音声素片取得部で取得された前記音声素片の候補の中から、生成される合成音が前記音声記号および前記韻律情報に最も適合する音声素片を選択する音声素片選択部とを有し、
前記音声素片接続手段は、前記音声素片選択部で選択された前記音声素片を接続することにより合成音を生成する
ことを特徴とする請求項５に記載の音声合成装置。
【請求項８】
前記大規模データベースは、コンピュータネットワークを介して前記音声合成装置と接続されたサーバに設けられており、
前記適合音声素片選択手段は、前記サーバに設けられた前記大規模データベースの中から前記音声素片を選択する
ことを特徴とする請求項５に記載の音声合成装置。
【請求項９】
前記小規模データベースは、前記大規模データベースに保持されている音声素片をクラスタリングした際の、各クラスタを代表する音声素片を保持している
ことを特徴とする請求項５に記載の音声合成装置。
【請求項１０】
前記小規模データベースは、前記大規模データベースに保持されている音声素片を、当該音声素片の基本周波数、継続時間長、パワー情報、フォルマントパラメータ、ケプストラム係数の少なくとも１つ以上に基づいてクラスタリングした際の、各クラスタを代表する音声素片を保持している
ことを特徴とする請求項９に記載の音声合成装置。
【請求項１１】
前記小規模データベースは、ＨＭＭ（隠れマルコフ）モデルを保持しており、
前記大規模データベースは、前記小規模データベースに保持されている前記ＨＭＭモデルを生成する際の学習サンプルである音声素片を保持している
ことを特徴とする請求項５に記載の音声合成装置。
【請求項１２】
音声記号および韻律情報に適合する合成音を生成する音声合成装置であって、
生成される合成音が音声記号および韻律情報に適合する合成音生成用データを、合成音を生成するために用いられる合成音生成用データを保持している小規模データベースより選択する合成音生成用データ選択手段と、
前記小規模データベースに保持されている前記合成音生成用データの各々と、前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースに保持されている前記対応関係情報を用いて、前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応する音声素片を、前記大規模データベースの中から選択する適合音声素片選択手段と、
前記適合音声素片選択手段で選択された前記音声素片を接続することにより合成音を生成する音声素片接続手段とを備える
ことを特徴とする音声合成装置。
【請求項１３】
音声記号および韻律情報に適合する合成音を生成する音声合成方法であって、
生成される合成音が音声記号および韻律情報に最も適合する合成音生成用データを、合成音を生成するために用いられる合成音生成用データを保持している小規模データベースより選択する合成音生成用データ選択ステップと、
前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースを参照して、前記合成音生成用データ選択ステップで選択された前記合成音生成用データに対応する音声素片を、前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースの中から選択する適合音声素片選択ステップと、
前記適合音声素片選択ステップで選択された前記音声素片を接続することにより合成音を生成する音声素片接続ステップとを含む
ことを特徴とする音声合成方法。
【請求項１４】
音声記号および韻律情報に適合する合成音を生成するプログラムであって、
生成される合成音が音声記号および韻律情報に最も適合する合成音生成用データを、合成音を生成するために用いられる合成音生成用データを保持している小規模データベースより選択する合成音生成用データ選択ステップと、
前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースを参照して、前記合成音生成用データ選択ステップで選択された前記合成音生成用データに対応する音声素片を、前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースの中から選択する適合音声素片選択ステップと、
前記適合音声素片選択ステップで選択された前記音声素片を接続することにより合成音を生成する音声素片接続ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成技術に基づく音声コンテンツ編集・生成方法に関するものである。
【背景技術】
【０００２】
近年、音声合成技術の発達により、非常に高音質な合成音を作成することが可能となってきた。
【０００３】
しかしながら、従来の合成音の用途はニュース文をアナウンサー調で読み上げる等の画一的な用途が中心であった。
【０００４】
一方で、携帯電話のサービスなどでは、着信音の代わりに有名人の音声メッセージを用いるといったサービスが提供されるなど、特徴のある音声（個人再現性の高い合成音や、女子高校生風や関西弁風などの特徴的な韻律・声質をもつ合成音）が一つのコンテンツとして流通しはじめている。このように、個人間のコミュニケーションにおける楽しみを増やすために、特徴的な音声を作って相手に聞かせることに対する要求が高まることが考えられる。
【０００５】
以上のようなことから、従来のような単調な読み上げ調としてだけではなく、様々な声質や韻律を持った音声コンテンツを編集・作成して利用したいというニーズが高まりつつある。
【０００６】
「音声コンテンツの編集・作成」とは、上記のような音声コンテンツ作成という観点から見ると、例えば、女子高校生風や関西弁風などの特徴のある抑揚をつけたり、作成者の感情が伝わるように韻律や声質を変更したり、語尾を強調したりといったように、編集者自身の好みに合わせて合成音をカスタマイズすることに相当する。このようなカスタマイズは１回の処理で行なうよりも、むしろ編集と試聴とを繰り返すことによって、ユーザが望むコンテンツを作成することが可能となる。
【０００７】
上述の音声コンテンツの編集・作成を手軽に行なうための環境としては、以下の要件が必要である。
【０００８】
（１）携帯端末などの小規模なハードウェアリソースでも作成できる。
【０００９】
（２）合成音の編集を高速に行なうことが可能である。
【００１０】
（３）編集途中の合成音を簡単に試聴することができる。
【００１１】
従来、高音質な合成音を作成する方法として、例えば、再生時の合計時間が数時間から数百時間という大規模な音声を記録した音声データベースから、最適な音声素片系列を選択して接続することにより、高音質に合成音を作成するものが提案されている（例えば、特許文献１参照。）。図１は、特許文献１に記載された従来の音声合成装置の構成を示すブロック図である。
【００１２】
従来の音声合成装置は、合成目標となるテキストを分析した結果得られる合成器指令００２を入力として受け、音声素片ＤＢ（データベース）００１に含まれる拡張された音声素片から適切な音声素片を選択し接続して合成音声波形０１９を出力する音声合成装置である。
【００１３】
音声合成装置は、多段予備選択部００３と、素片選択部００４と、接続部００５とを含む。
【００１４】
多段予備選択部００３は、合成器指令００２を受け、合成器指令００２により指定された音声素片のうちで、後述するように多段の予備選択を行なって予備選択候補群０１８を選択する。
【００１５】
素片選択部００４は、合成器指令００２を受け、予備選択候補群０１８から全サブコストを用いて計算したコストの最も小さな素片を選択する。
【００１６】
接続部００５は、素片選択部００４により選択された音声素片を接続して合成音声波形０１９を出力する。
【００１７】
なお、予備選択候補群０１８は素片の選択のみに用いられるので、コスト計算に必要な特徴量のみを含み、音声素片データそのものは含まない。接続部００５は、素片選択部００４により選択された素片の音声素片データを、音声素片ＤＢ００１を参照して得ることになる。
【００１８】
従来の音声合成装置で使用されるサブコストは、基本周波数誤差、継続時間長誤差、ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）誤差、Ｆ０（基本周波数）不連続誤差、ＭＦＣＣ不連続誤差、音素環境誤差にそれぞれ対応する６種類のサブコストを含む。これらのうち、前３者はターゲットコストに属し、後３者は接続コストに属する。
【００１９】
従来の音声合成装置に係る素片選択部００４によるコスト計算では、コストはサブコストから計算される。
【００２０】
多段予備選択部００３は、４つの予備選択部００６、００９、０１２および０１５を含む。
【００２１】
第１の予備選択部００６は、合成器指令００２を受け、音声素片ＤＢ００１中の音声素片候補から各時刻におけるＦ０誤差、継続時間長誤差による予備選択をして第１の候補群００７を出力する。
【００２２】
第２の予備選択部００９は、第１の候補群００７中の素片から、各時刻におけるＦ０誤差、継続時間長誤差、ＭＦＣＣ誤差による予備選択をして第２の候補群０１０を出力する。
【００２３】
以下同様に第３の予備選択部０１２および第４の予備選択部０１５もサブコストの一部を使用して予備選択を行なう。
【００２４】
このように予備選択を行なうことにより、音声素片ＤＢ００１から最適な音声素片を選択する計算量を削減している。
【特許文献１】特開２００５−２６５８９５号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【００２５】
上述のように本発明の目的は、音声コンテンツの作成であり、そのためには合成音を編集するという手段が必要である。しかしながら、特許文献１の技術を用いて合成音すなわち音声コンテンツを編集する場合には、以下の問題が存在する。
【００２６】
すなわち、特許文献１に記載の音声合成装置は、素片を選択する際に予備選択部を導入することによりトータルの計算コストを削減することはできる。しかし、結果として合成音を得るためには、第１の予備選択部００６において全ての音声素片からの予備選択を行なう必要がある。また、接続部００５が最終的に最適な音声素片を音声素片ＤＢ００１から毎回選択する必要がある。さらに、高音質な合成音を生成するためには、音声素片ＤＢ００１には、数多くの音声素片を記憶しておかなければならず、通常、再生時の合計時間が数時間から数百時間という大規模なデータベースとなる。
【００２７】
したがって、合成音を編集する際に毎回大規模な音声素片ＤＢ００１から音声素片を選択した場合には、結局目的の合成音を得るまでに、毎回大規模な音声素片ＤＢ００１を探索する必要がある。このため、編集時の計算コストが大きくなるという課題がある。
【００２８】
本発明は、前記従来の課題を解決するもので、音声コンテンツの編集を高速に実行することができ、音声コンテンツを手軽に作成できる音声合成装置を提供することを目的とする。
【課題を解決するための手段】
【００２９】
本発明のある局面に係る音声合成装置は、音声記号および韻律情報に適合する合成音を生成する音声合成装置であって、合成音を生成するために用いられる合成音生成用データを保持している小規模データベースと、前記小規模データベースに保持されている前記合成音生成用データよりも多くの数の音声素片を保持している大規模データベースと、生成される合成音が音声記号および韻律情報に適合する合成音生成用データを前記小規模データベースより選択する合成音生成用データ選択手段と、前記小規模データベースに保持されている前記合成音生成用データの各々と、前記大規模データベースに保持されている音声素片との対応関係を示す情報である対応関係情報を保持している対応データベースと、前記対応データベースに保持されている前記対応関係情報を用いて、前記合成音生成用データ選択手段で選択された前記合成音生成用データに対応する音声素片を、前記大規模データベースの中から選択する適合音声素片選択手段と、前記適合音声素片選択手段で選択された前記音声素片を接続することにより合成音を生成する音声素片接続手段とを備えることを特徴とする。
【００３０】
この構成によると、合成音生成用データ選択手段が、小規模データベースより合成音生成用データを選択する。また、適合音声素片選択手段が、大規模データベースより、選択された合成音生成用データに対応する高品質な音声素片を選択する。このように、２段階で音声素片を選択するようにすることにより、高音質の音声素片を高速に選択することができる。
【００３１】
また、前記大規模データベースは、コンピュータネットワークを介して前記音声合成装置と接続されたサーバに設けられており、前記適合音声素片選択手段は、前記サーバに設けられた前記大規模データベースの中から前記音声素片を選択するようにしてもよい。
【００３２】
大規模データベースをサーバに置くことにより、端末は、無駄な記憶容量を必要とせずに、最小な構成で音声合成装置を構成することができる。
【００３３】
また、上述の音声合成装置は、さらに、前記合成音生成用データ選択手段で選択された音声素片を接続することにより、簡易合成音を生成する小規模音声素片接続手段と、前記簡易合成音の韻律情報を修正するための情報を受け付け、当該情報に基づいて前記韻律情報を修正する韻律情報修正手段とを備える。そして、前記合成音生成用データ選択手段は、前記簡易合成音の韻律情報が修正された場合に、生成される合成音が音声記号および修正後の前記韻律情報に適合する合成音生成用データを前記小規模データベースより再選択して、前記小規模音声素片接続手段に前記再選択した合成音生成用データを出力する。そして、前記適合音声素片選択手段は、前記修正と前記再選択とで決定された前記合成音生成用データを受け取り、当該合成音生成用データに対応する音声素片を前記大規模データベースの中から選択するようにしてもよい。
【００３４】
韻律情報を修正することにより合成音生成用データが再選択される。このような、韻律情報の修正および合成音生成用データの再選択を繰返しながら、ユーザが所望する合成音生成用データを選択する。また、大規模データベースからの音声素片の選択は、最後に１度だけ行えばよい。このため、高音質な合成音を効率的に作成することができる。
【００３５】
なお、本発明は、このような特徴的な手段を備える音声合成装置として実現することができるだけでなく、音声合成装置に含まれる特徴的な手段をステップとする音声合成方法として実現したり、音声合成方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００３６】
本発明によると、音声コンテンツの編集を高速に実行することを可能とし、音声コンテンツを手軽に作成ができる音声合成装置を提供することができる。
【００３７】
本発明の音声合成装置によれば、合成音の編集処理としては、端末のみで小規模データベースを用いて合成音を作成できる。また韻律修正手段により、ユーザによる合成音の編集処理が可能となる。これにより、携帯端末など比較的小規模なリソースの端末においても音声コンテンツの編集を可能とすることができる。また、端末側で、小規模データベースを用いて合成音を作成できるので、編集した合成音を、端末のみで再生し、ユーザは、再生された合成音を試聴することができる。
【００３８】
また、ユーザは、編集作業が完了した後、サーバに保持されている大規模データベースを用いて高音質化処理が可能となる。このとき、対応データベースにおいて、既に決定されている小規模音声素片系列と大規模データベースの候補とが対応付けられている。このため、大規模音声素片選択部による素片の選択は、改めて素片を再選択する場合と比較して、限定された探索空間を探索するのみでよいので計算量を大幅に削減することができる。例えば大規模音声素片の例としては数ＧＢ以上のシステムがあり、これに対し小規模音声素片の例としては０．５ＭＢ程度のものもある。
【００３９】
さらに、大規模データベースに記憶されている素片取得のための端末とサーバとの間の通信は、高品質化処理を行なう際の１度だけ行なえばよい。このため、通信に伴う時間的ロスを低減できる。すなわち、編集作業と、高音質化処理とを分離することにより、音声コンテンツの編集作業に要するレスポンスを向上させることができる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００４１】
（実施の形態１）
本発明の実施の形態１では、音声素片ＤＢを小規模音声素片ＤＢと大規模音声素片ＤＢとに階層化することにより、音声コンテンツの編集作業を効率化することを特徴とする。
【００４２】
図２は、本発明の実施の形態１における多重品質音声合成装置の構成図である。
【００４３】
多重品質音声合成装置は、複数の品質の音声を合成する装置であり、小規模音声素片ＤＢ１０１と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０４と、大規模音声素片ＤＢ１０５と、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを含む。
【００４４】
小規模音声素片ＤＢ１０１は、小規模な音声素片を保持するデータベースである。小規模音声素片ＤＢ１０１に記憶されている音声素片のことを、本明細書中では、特に「小規模音声素片」という。
【００４５】
小規模音声素片選択部１０２は、作成する合成音の目標となる音韻情報と韻律情報とを入力として受け、小規模音声素片ＤＢ１０１に保持されている音声素片の中から最適な音声素片系列を選択する処理部である。
【００４６】
小規模音声素片接続部１０３は、小規模音声素片選択部１０２により選択された音声素片系列を接続して合成音を生成する処理部である。
【００４７】
韻律修正部１０４は、韻律情報を修正するための情報のユーザによる入力を受け付け、多重品質音声合成装置が作成する合成音の目標となる韻律情報を修正する処理部である。
【００４８】
大規模音声素片ＤＢ１０５は、大規模な音声素片を保持するデータベースである。大規模音声素片ＤＢ１０５に記憶されている音声素片のことを、本明細書中では、特に「大規模音声素片」という。
【００４９】
対応ＤＢ１０６は、小規模音声素片ＤＢ１０１に保持されている音声素片と大規模音声素片ＤＢ１０５に保持されている音声素片の対応関係を示す情報を保持するデータベースである。
【００５０】
音声素片候補取得部１０７は、小規模音声素片選択部１０２により選択された音声素片系列を入力として受け、対応ＤＢ１０６に記憶されている音声素片の対応関係を示す情報に基づいて、入力された音声素片系列の各音声素片に対応する音声素片候補を、ネットワーク１１３などを介して大規模音声素片ＤＢ１０５から取得する処理部である。
【００５１】
大規模音声素片選択部１０８は、合成音の目標となる、小規模音声素片選択部１０２が入力として受けた音韻情報と小規模音声素片選択部１０２が入力として受けた韻律情報または韻律修正部１０４により修正された韻律情報とを入力として受け、音声素片候補取得部１０７により選択された音声素片候補の中から最適な音声素片系列を選択する処理部である。
【００５２】
大規模音声素片接続部１０９は、大規模音声素片選択部１０８により選択された音声素片系列を接続して合成音を生成する処理部である。
【００５３】
図３は、対応ＤＢ１０６に記憶されている、小規模音声素片ＤＢ１０１に保持されている音声素片と大規模音声素片ＤＢ１０５に保持されている音声素片の対応関係を示す情報の一例を示す図である。
【００５４】
同図に示されるように、対応ＤＢ１０６の対応関係を示す情報には、「小規模音声素片番号」と「大規模音声素片番号」とが対応付けられて記憶されている。「小規模音声素片番号」とは、小規模音声素片ＤＢ１０１に記憶されている音声素片を識別するための音声素片番号であり、「大規模音声素片番号」とは、大規模音声素片ＤＢ１０５に記憶されている音声素片を識別するための音声素片番号である。例えば、小規模音声素片番号「２」の音声素片には、大規模音声素片番号「１」および「２」の音声素片が対応付けられている。
【００５５】
なお、番号が同一の音声素片は同一の音声素片を示すものとする。すなわち、小規模音声素片番号「２」の音声素片と大規模音声素片番号「２」の音声素片とは同一の音声素片を示す。
【００５６】
図４は、本実施の形態に係る多重品質音声合成装置をシステムとして実現した場合の概念図である。
【００５７】
多重品質音声合成システムは、ネットワーク１１３を介して相互に接続された端末１１１とサーバ１１２とを備えており、端末１１１とサーバ１１２との協調動作により、多重品質音声合成装置を実現する。
【００５８】
端末１１１は、小規模音声素片ＤＢ１０１と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０４と、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とで構成される。サーバ１１２は、大規模音声素片ＤＢ１０５で構成される。
【００５９】
このように多重品質音声合成システムを構成することにより、端末１１１に要求される記憶容量は大きくなくて良い。また大規模音声素片ＤＢ１０５は、端末１１１に設ける必要はなく、サーバ１１２が集中して保持しておけばよい。
【００６０】
次に、本実施の形態に係る多重品質音声合成装置の動作を図５に示すフローチャートを用いて説明する。多重品質音声合成装置の動作は、合成音の編集処理と、編集された合成音の高音質化処理とに大きく分けられる。以下、合成音の編集処理と、高音質化処理とに分けて順に説明を行う。
【００６１】
＜編集処理＞
まず、合成音の編集処理について説明する。前処理として、ユーザにより入力されたテキスト情報が解析され、音韻系列とアクセント記号を元に韻律情報が生成される（ステップＳ００１）。韻律情報の生成の方法は特に限定されるものではなく、例えば、テンプレートを参照して生成するようにしてもよいし、数量化Ｉ類を用いて推定するようにしても良い。また、韻律情報は外部から直接入力されても良い。
【００６２】
例えば、「あらゆる」というテキストデータ（音素情報）が取得され、その音素情報に含まれる各音素と各韻律とを含む韻律情報群が出力される。この韻律情報群は、音素“ａ”およびこれに対応する韻律を示す韻律情報ｔ1と、音素“ｒ”およびこれに対応する韻律を示す韻律情報ｔ2と、音素“ａ”およびこれに対応する韻律を示す韻律情報ｔ3と、音素“ｙ”およびこれに対応する韻律を示す韻律情報ｔ4と、以下同様に“ｕ”，“ｒ”，“ｕ”にそれぞれ対応する韻律情報ｔ5〜ｔ7とを少なくとも含む。
【００６３】
小規模音声素片選択部１０２は、ステップＳ００１により得られた韻律情報ｔ1〜ｔ7に基づいて、小規模音声素片ＤＢ１０１からターゲット韻律（ｔ1〜ｔ7）との距離（ターゲットコスト（Ｃｔ））と、音声素片の接続性（接続コスト（Ｃｃ））とを考慮して、最適な音声素片系列（Ｕ＝ｕ1，ｕ2，…，ｕn）を選択する（ステップＳ００２）。具体的には次式（１）に示すコストが最小となる音声素片系列をビタビアルゴリズムにより探索する。ターゲットコストと接続コストの算出法は特に限定するものではないが、例えば、ターゲットコストは、韻律情報（基本周波数・継続時間長・パワー）の差分の重み付け和で計算するようにすればよい。また、接続コストは、ｕi-1の終端とｕiの始端のケプストラム距離を用いて計算するようにすればよい。
【００６４】
【数１】
2007141993.tif 000026
また、
【００６５】
【数２】
2007141993.tif 000027
は、Ｕ＝ｕ1，ｕ2，…，ｕnを変化させた時に、括弧内の値が最小となるＵの系列を示す。
【００６６】
小規模音声素片接続部１０３は、小規模音声素片選択部１０２により選択された音声素片系列を用いて音声波形を合成し、合成音を出力することによりユーザに提示する（ステップＳ００３）。音声波形を合成する方法は特に限定されるものではない。
【００６７】
韻律修正部１０４は、ユーザが合成音に満足しているか否かの入力を受け付ける（ステップＳ００４）。ユーザが合成音に満足している場合には（ステップＳ００４でＹＥＳ）、編集処理が終了し、ステップＳ００６以降の処理が実行される。
【００６８】
ユーザが合成音に満足していない場合には（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正するための情報のユーザによる入力を受け付け、ターゲットとなる韻律情報を修正する（ステップＳ００５）。「韻律情報の修正」は、例えば、アクセント位置の変更、基本周波数の変更、継続時間長の変更などを含む。これにより、ユーザは、現状の合成音の韻律で満足できない箇所を修正することができ、編集された韻律情報Ｔ´＝ｔ´1，ｔ´2，…，ｔ´nを作成することができる。修正が終了すると、ステップＳ００２に戻る。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより、ユーザは自分が望む韻律の合成音を作成することが可能である。このようにして選択された音声素片系列をＳ＝ｓ1，ｓ2，…，ｓnとする。
【００６９】
なお、韻律修正部１０４のインタフェースは特に限定するものではない。例えば、スライダーのようなもので韻律情報を修正するようにしてもよいし、女子高校生風、または関西弁風などのように直感的に表現された韻律情報をユーザが指定するようにしても良い。さらに、ユーザが音声により韻律情報を入力するようにしても良い。
【００７０】
＜高音質化処理＞
次に高音質化の処理の流れを説明する。
【００７１】
音声素片候補取得部１０７は、編集処理で最後に確定した音声素片系列（Ｓ＝ｓ1，ｓ2，…，ｓn）を元に、大規模音声素片ＤＢ１０５から音声素片候補を取得する（ステップＳ００６）。すなわち、音声素片候補取得部１０７は、小規模音声素片ＤＢ１０１に保持されている音声素片と大規模音声素片ＤＢ１０５に保持されている音声素片との対応関係を示す情報を保持する対応ＤＢ１０６を用いて、音声素片系列（Ｓ＝ｓ1，ｓ2，…，ｓn）を構成する各音声素片に対応する音声素片候補を大規模音声素片ＤＢ１０５から取得する。なお、対応ＤＢ１０６の作成方法については後述する。
【００７２】
図６を用いて、音声素片候補取得部１０７による音声素片候補取得処理（ステップＳ００６）について具体的に説明する。図６の破線枠６０１で囲った部分は、「ａｒａｙｕｒｕ」という音素列に対して、編集処理（ステップＳ００１〜Ｓ００５）で確定された小規模音声素片ＤＢ１０１の音声素片系列（Ｓ＝ｓ1，ｓ2，…，ｓ7）を示している。また、図６は、対応ＤＢ１０６に基づいて、各小規模音声素片（ｓi）に対応する大規模音声素片ＤＢ１０５の音声素片候補群を取得する様子を示している。例えば、図６の例では、音素「ａ」として編集処理で決定された小規模音声素片ｓ1は、対応ＤＢ１０６を用いることにより大規模音声素片群ｈ11，ｈ12，ｈ13，ｈ14に展開することができる。すなわち、大規模音声素片群ｈ11，ｈ12，ｈ13，ｈ14は、小規模音声素片ｓ1に音響的に類似した複数の実音声波形（または実音声波形に基づく分析パラメータ）である。
【００７３】
音素「ｒ」に対応する小規模音声素片ｓ2についても、対応ＤＢ１０６を用いることにより、大規模音声素片群ｈ21，ｈ22，ｈ23に展開することができる。以下同様に、ｓ3，…，ｓ7に対しても対応ＤＢ１０６に基づいて音声素片候補を取得することができる。すなわち、同図に示す大規模音声素片候補群系列６０２は、小規模音声素片系列Ｓに対応する大規模音声素片候補群の系列を示している。
【００７４】
大規模音声素片選択部１０８は、ユーザにより編集された韻律情報に最適な音声素片系列を、上述の大規模音声素片候補群系列６０２の中から選択する（ステップＳ００７）。選択の方法は、ステップＳ００２と同一の方法でよいので説明を省略する。図６の例では、Ｈ＝ｈ13，ｈ22，ｈ33，ｈ43，ｈ54，ｈ61，ｈ74が大規模音声素片候補群系列６０２から選択されたものとしている。
【００７５】
結果として、Ｈ＝ｈ13，ｈ22，ｈ33，ｈ43，ｈ54，ｈ61，ｈ74は、大規模音声素片ＤＢ１０５に保持されている音声素片群からユーザにより編集された韻律情報を実現する最適な音声素片系列として選択されることになる。
【００７６】
大規模音声素片接続部１０９は、ステップＳ００７で選択された大規模音声素片ＤＢ１０５に保持されている音声素片系列Ｈを接続し、合成音を生成する（ステップＳ００８）。接続の方法は特に限定しない。
【００７７】
なお、素片の接続の際には各素片を適宜変形して接続するようにしても良い。
【００７８】
以上の処理により、編集処理で編集した簡易版の合成音に韻律・声質が類似し、かつ高音質な合成音を生成することが可能になる。
【００７９】
＜対応ＤＢの作成方法＞
次に対応ＤＢ１０６について詳しく説明する。
【００８０】
対応ＤＢ１０６は、上述したように、小規模音声素片ＤＢ１０１に保持されている音声素片と大規模音声素片ＤＢ１０５に保持されている音声素片との対応関係を示す情報を保持するデータベースである。
【００８１】
具体的には、高音質化処理を行なう際に、編集処理で作成した簡易合成音に類似している音声素片を大規模音声素片ＤＢ１０５から選択するために用いられる。
【００８２】
小規模音声素片ＤＢ１０１は、大規模音声素片ＤＢ１０５が保持する素片群の部分集合であり、以下の関係を満たすことが本発明の特徴である。
【００８３】
まず、小規模音声素片ＤＢ１０１に保持されている音声素片は、大規模音声素片ＤＢに保持されている１以上の音声素片に対応付けられている。さらに、対応ＤＢ１０６によって対応付けられた大規模音声素片ＤＢ１０５の音声素片は、小規模音声素片ＤＢの音声素片と音響的に類似している。類似の基準としては、韻律情報（基本周波数、パワー情報、継続時間長など）および声道情報（フォルマント、ケプストラム係数など）がある。
【００８４】
これによって、小規模音声素片ＤＢ１０１に保持された音声素片系列を用いて合成された簡易合成音と比較して、韻律および声質が近い音声素片を、高音質化処理の際に選択することができる。また、大規模音声素片ＤＢ１０５は、豊富な候補の中から最適な音声素片候補を選択することが可能である。したがって、上述の大規模音声素片選択部１０８で音声素片を選択する際のコストを小さくすることができる。これによって、合成音の音質を向上させることができるという効果を得ることができる。
【００８５】
なぜならば、小規模音声素片ＤＢ１０１が保持している音声素片は限定されている。このため、ターゲット韻律に近い合成音を生成することは可能であるが、音声素片間の接続性が高いことは保証できない。一方、大規模音声素片ＤＢ１０５は、大量のデータを保持することが可能である。このため、大規模音声素片選択部１０８は、大規模音声素片ＤＢ１０５から音声素片間の接続性の高い音声素片系列を選択することが可能である（例えば、特許文献１記載の方法を用いることにより実現可能である）。
【００８６】
上記の対応付けを行なうために、クラスタリングの技術を用いる。「クラスタリング」とは複数の特性によって決定された個体間の類似性の指標をもとに、個体をいくつかの集合に分類するための手法である。
【００８７】
クラスタリングの方法は大きく分けて、類似した個体を併合していくつかの集合にまとめて行く階層的クラスタリング（hierarchical clustering method）と、類似した個体が結果的に同じ集合に入るように元の集合を分割する非階層的クラスタリング（non-hierarchical clustering method）とに大別できる。本実施の形態では、具体的にクラスタリングの手法を限定するものではなく、結果として類似した音声素片を同じ集合にまとめることができればよい。例えば、階層的クラスタリングでは、『ヒープを用いた階層的クラスタリング』という手法が知られている。また、非階層的クラスタリングでは『ｋ−ｍｅａｎｓ法』と呼ばれる手法が知られている。
【００８８】
まず、階層的クラスタリングを用いて音声素片をいくつかの集合にまとめる方法について説明する。図７は、大規模音声素片ＤＢ１０５に保持されている音声素片群に対し、階層的クラスタリングを行った場合の概念図を表すものである。
【００８９】
初期階層３０１は、大規模音声素片ＤＢ１０５に保持されている音声素片それぞれから構成される。同図の例において、大規模音声素片ＤＢ１０５に保持されている音声素片は四角形で示されている。また、四角形に付与された数字は、音声素片を識別するための識別子、すなわち音声素片番号である。
【００９０】
第１の階層のクラスタ群３０２は、階層的クラスタリングにより第１の階層としてクラスタリングされたクラスタの集合であり、各クラスタは円形で示されている。クラスタ３０３は、第１の階層としてクラスタリングされたクラスタの１つであり、具体的には、音声素片番号「１」および「２」の音声素片により構成されている。各クラスタに示されている数字は、クラスタを代表する音声素片の識別子である。例えば、クラスタ３０３を代表する音声素片は、音声素片番号「２」の音声素片である。このとき、各クラスタにおいて、クラスタを代表する代表音声素片を決定する必要があるが、代表音声素片の決定方法としては、クラスタに属する音声素片群のセントロイドを用いる方法がある。すなわち、クラスタに属する音声素片群のセントロイドに最も近い音声素片をクラスタの代表とする。図の例では、クラスタ３０３を代表する音声素片は音声素片番号「２」の音声素片となる。同様に他のクラスタについても、代表音声素片を決定することができる。
【００９１】
なお、クラスタに属する音声素片群のセントロイドの求め方としては、音声素片群に含まれる各音声素片の韻律情報および声道情報を要素とするベクトルを考えた場合に、複数のベクトルのベクトル空間中における重心をクラスタのセントロイドとして求める。
【００９２】
また、代表音声素片の求め方としては、上述の音声素片群に含まれる各音声素片のベクトルとクラスタのセントロイドのベクトルとの間で類似度を求め、類似度が最大となる音声素片を代表素片として求める。なお、クラスタのセントロイドのベクトルと各音声素片のベクトルとの間で距離（例えば、ユークリッド距離）を求め、距離が最小となる音声素片を代表素片として求めてもよい。
【００９３】
第２の階層のクラスタ群３０４は、第１の階層のクラスタ群３０２に属するクラスタを、さらに上述の類似度に基づいてクラスタリングしたものである。したがってクラスタの数は第１の階層のクラスタ群３０２のクラスタ数よりも少ない。このとき、第２の階層のクラスタ３０５についても同様に代表音声素片を決定することができる。同図の例の場合、素片番号「２」の音声素片がクラスタ３０５を代表する音声素片である。
【００９４】
このように階層的クラスタリングを行なうことによって、大規模音声素片ＤＢ１０５は、第１の階層のクラスタ群３０２や、第２の階層のクラスタ群３０４のように分割することができる。
【００９５】
その際、第１の階層のクラスタ群３０２の各クラスタの代表音声素片のみからなる素片群を小規模音声素片ＤＢ１０１として利用することができる。同図の例では、素片番号が２，３，６，８，９，１２，１４，１５の音声素片を小規模音声素片ＤＢ１０１として利用することができる。また、同様に第２の階層のクラスタ群の各クラスタの代表音声素片のみからなる音声素片群を小規模音声素片ＤＢ１０１として利用することもできる。同図の例では、素片番号が２，８，１２，１５の音声素片を小規模音声素片ＤＢ１０１として利用することができる。
【００９６】
すなわち、この関係を利用すると図３に示す対応ＤＢ１０６を構築することが可能となる。
【００９７】
同図の例では、第１の階層のクラスタ群３０２を小規模音声素片として利用した場合を示している。小規模音声素片番号「２」の音声素片は、大規模音声素片ＤＢ１０５の大規模音声素片番号「１」および「２」の音声素片に対応付けられている。また、小規模音声素片番号「３」の音声素片は、大規模音声素片ＤＢ１０５の大規模音声素片番号「３」および「４」の音声素片に対応付けられる。以下同様に全ての第１の階層のクラスタ群３０２の代表音声素片と大規模音声素片ＤＢ１０５の大規模音声素片番号とを対応付けることができる。また、このように小規模音声素片番号と大規模音声素片番号との関係を予め対応付けてテーブルとして保持することにより、対応ＤＢ１０６の参照を非常に高速に行なうことが可能である。
【００９８】
なお、このように階層的クラスタリングを行なうことにより、小規模音声素片ＤＢ１０１の規模をスケーラブルに変更することが可能となる。すなわち、小規模音声素片ＤＢ１０１として、第１の階層のクラスタ群３０２の代表音声素片を用いたり、第２の構成のクラスタ群３０４の代表音声素片を用いたりすることができる。したがって、端末１１１の記憶容量に応じた小規模音声素片ＤＢ１０１を構成することが可能である。
【００９９】
このとき、小規模音声素片ＤＢ１０１と大規模音声素片ＤＢ０１０５とは、上述の関係を満たしている。すなわち、小規模音声素片ＤＢ１０１として、第１の階層のクラスタ群３０２の代表音声素片を用いた場合、例えば、小規模音声素片ＤＢ１０１に保持されている音声素片番号「２」の音声素片は、大規模音声素片ＤＢ１０５の音声素片番号「１」および「２」の音声素片に対応する。また、音声素片番号「１」および「２」の音声素片は、上記基準によりクラスタ３０３の音声素片番号「２」の代表音声素片に類似している。
【０１００】
例えば、小規模音声素片選択部１０２が、小規模音声素片ＤＢ１０１より音声素片番号「２」の音声素片を選択した場合、音声素片候補取得部１０７は、対応ＤＢ１０６を用いて、素片番号「１」および「２」の音声素片を取得する。大規模音声素片選択部１０８は、取得した音声素片候補の中から上述の式（１）が最小になる候補、すなわち、ターゲット韻律に近く、かつ前後素片との接続性が良い音声素片を選択することになる。
【０１０１】
これによって、大規模音声素片選択部１０８により選択された音声素片系列のコスト値は、小規模音声素片選択部１０２によって選択された音声素片系列のコスト値以下になることが保証できる。なぜならば、音声素片候補取得部１０７が取得する音声素片候補には、小規模音声素片選択部１０２により選択された音声素片を含み、かつ、その音声素片に類似した複数の音声素片が候補として追加されているからである。
【０１０２】
なお、上述の説明では、階層型クラスタリングを用いて対応ＤＢ１０６を構成したが、非階層的クラスタリングを用いて対応ＤＢ１０６を構成するようにしてもよい。
【０１０３】
例えば、ｋ−ｍｅａｎｓ法を用いればよい。ｋ−ｍｅａｎｓ法はあらかじめ設定されたクラスタ数（ｋ）になるように、要素群（ここでは音声素片群）を分割する非階層的クラスタリングである。ｋ−ｍｅａｎｓ法を用いることにより、端末１１１で必要とされる小規模音声素片ＤＢ１０１のサイズを設計時に計算することが可能である。また、ｋ個に分割された各クラスタで代表音声素片を決定し、小規模音声素片ＤＢ１０１として利用することにより階層的クラスタリングの場合と同様の効果を得ることができる。
【０１０４】
なお、上記のクラスタリング処理は、あらかじめ音声素片の単位（例えば、音素や音節、モーラ、ＣＶ（Ｃ：子音、Ｖ：母音）、ＶＣＶ）で分けてクラスタリングを行なうことにより効率的にクラスタリングすることができる。
【０１０５】
かかる構成によれば、端末１１１は、小規模音声素片ＤＢ１０１と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０４と、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを具備し、サーバ１１２は、大規模音声素片ＤＢ１０５を具備するような構成とすることにより、端末１１１に要求される記憶容量は大きくなくて良い。また大規模音声素片ＤＢ１０５は、サーバ１１２に集中して保持しておけばよいので、端末１１１が複数存在する場合においても、大規模音声素片ＤＢ１０５は、サーバ１１２に１つ保持しておくだけでよい。
【０１０６】
このとき、編集処理としては、端末１１１のみで、小規模音声素片ＤＢ１０１を用いて合成音を作成できる。また韻律修正部１０４により、ユーザによる合成音の編集処理が可能となる。
【０１０７】
さらに、編集作業が完了した後、サーバ１１２に保持されている大規模音声素片ＤＢ１０５を用いて高音質化処理が可能となるが、このとき、対応ＤＢ１０６により、既に決定されている小規模音声素片系列と大規模音声素片ＤＢ１０５の候補とが対応付けられている。このため、大規模音声素片選択部１０８による音声素片の選択は、改めて音声素片を再選択する場合と比較して、限定された探索空間を探索するのみでよいので計算量を大幅に削減することができる。
【０１０８】
また、端末１１１とサーバ１１２との間の通信は、高品質化処理を行なう際に１度だけ行なえばよい。このため、通信に伴う時間的ロスを低減できる。すなわち、編集作業と高音質化処理とを分離することにより、音声コンテンツの編集作業に要するレスポンスを向上させることが可能である。なお、高音質化処理をサーバ１１２で行い、高音質化した結果を、ネットワーク１１３を介して端末１１１に送信するようにしても良い。
【０１０９】
なお、本実施の形態では、小規模音声素片ＤＢ１０１を大規模音声素片ＤＢ１０５の部分集合となるように構築したが、大規模音声素片ＤＢ１０５の情報量を圧縮して小規模音声素片ＤＢ１０１を作成するようにしても良い。具体的には、サンプリング周波数を小さくしたり、量子化ビット数を小さくしたり、分析する際の分析次数を低くするなどにより圧縮するようにしても良い。その場合、対応ＤＢ１０６は、小規模音声素片ＤＢ１０１と大規模音声素片ＤＢ１０５とを一対一で対応付けるようにすれば良い。
【０１１０】
本実施の形態の各構成要素を、端末とサーバでどのように分担するかにより、それぞれの負荷が異なる。また、それに伴う端末とサーバ間で通信する情報も異なり、したがって通信量も異なる。以下に構成要素の組み合わせとその効果について説明する。
【０１１１】
（変形例１）
本変形例では、端末１１１は、小規模音声素片ＤＢ１０１、小規模音声素片選択部１０２、小規模音声素片接続部１０３および韻律修正部１０４を具備する。サーバ１１２は、大規模音声素片ＤＢ１０５、対応ＤＢ１０６、音声素片候補取得部１０７、大規模音声素片選択部１０８および大規模音声素片接続部１０９を具備する。
【０１１２】
本変形例の動作を図８のフローチャートを用いて説明する。個々のステップは既に説明しているので詳細な説明は省略する。
【０１１３】
端末１１１を用いて編集処理を行なう。具体的には、韻律情報が生成される（ステップＳ００１）。次に、小規模音声素片選択部１０２は、小規模音声素片ＤＢ１０１から小規模音声素片系列を選択する（ステップＳ００２）。小規模音声素片接続部１０３は、小規模音声素片を接続して簡易版合成音を生成する（ステップＳ００３）。ユーザは生成された合成音を聞いて満足するかどうかの判断を行なう（ステップＳ００４）。満足しなかった場合は（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正する（ステップＳ００５）。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより目的の合成音が生成される。
【０１１４】
ユーザが簡易版合成音に満足した場合は（ステップＳ００４でＹＥＳ）、端末１１１は、サーバ１１２に対して、ステップＳ００２で選択した小規模音声素片系列の識別子および確定された韻律情報をサーバに送信する（ステップＳ０１０）。
【０１１５】
次にサーバ側の動作を説明する。音声素片候補取得部１０７は、端末１１１から取得した小規模音声素片系列の識別子に基づいて、対応ＤＢ１０６を参照し、大規模音声素片ＤＢ１０５から選択候補となる音声素片群を取得する（ステップＳ００６）。大規模音声素片選択部１０８が、取得された音声素片候補群から、端末１１１から受信した韻律情報に基づいて最適な大規模音声素片系列を選択する（ステップＳ００７）。大規模音声素片接続部１０９が、選択された大規模音声素片系列を接続して高音質版合成音を生成する（ステップＳ００８）。
【０１１６】
サーバ１１２は、以上のようにして作成された高音質版合成音を端末１１１に送信する。以上の処理により高音質な合成音を作成することができる。
【０１１７】
以上のように端末１１１およびサーバ１１２を構成することにより、端末１１１は、小規模音声素片ＤＢ１０１と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０５とだけで構成することができるため、必要なメモリ容量を小さくできる。また、端末１１１では、小規模音声素片のみを用いて合成音を生成するので、計算量も小さくできる。また、端末１１１からサーバ１１２への通信は、韻律情報と小規模音声素片系列の識別子のみであり、通信量も非常に小さくできる。また、サーバ１１２から端末１１１への通信は、高音質化された合成音声を１度送信するだけでよく、通信量を小さくすることが可能である。
【０１１８】
（変形例２）
本変形例では、端末１１１は、小規模音声素片ＤＢ１０１、小規模音声素片選択部１０２、小規模音声素片接続部１０３、韻律修正部１０４、対応ＤＢ１０６および音声素片候補取得部１０７を具備する。サーバ１１２は、大規模音声素片ＤＢ１０５、大規模音声素片選択部１０８および大規模音声素片接続部１０９を具備する。
【０１１９】
本変形例と変形例１との違いは、対応ＤＢ１０６を端末１１１に具備する点である。
【０１２０】
本変形例の動作を図９のフローチャートを用いて説明する。個々のステップは既に説明しているので詳細な説明は省略する。
【０１２１】
端末１１１を用いて編集処理を行なう。具体的には、韻律情報が生成される（ステップＳ００１）。次に、小規模音声素片選択部１０２は、小規模音声素片ＤＢ１０１から小規模音声素片系列を選択する（ステップＳ００２）。小規模音声素片接続部１０３は、小規模音声素片を接続して簡易版合成音を生成する（ステップＳ００３）。ユーザは生成された合成音を聞いて満足するかどうかの判断を行なう（ステップＳ００４）。満足しなかった場合は（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正する（ステップＳ００５）。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより目的の合成音が生成される。
【０１２２】
ユーザが簡易版合成音に満足した場合は（ステップＳ００４でＹＥＳ）、音声素片候補取得部１０７は、対応ＤＢ１０６を用いて、対応する大規模音声素片ＤＢ１０５の候補となる素片識別子を取得する（ステップＳ００６）、端末１１１は、大規模音声素片の選択候補群の識別子および確定された韻律情報をサーバ１１２に送信する（ステップＳ０１１）。
【０１２３】
次にサーバ側の動作を説明する。大規模音声素片選択部１０８が、取得された音声素片候補群から、端末１１１から受信した韻律情報に基づいて最適な大規模音声素片系列を選択する（ステップＳ００７）。大規模音声素片接続部１０９が、選択された大規模音声素片系列を接続して高音質版合成音を生成する（ステップＳ００８）。
【０１２４】
サーバ１１２は、以上のようにして作成された高音質版合成音を端末１１１に送信する。以上の処理により高音質な合成音を作成する。
【０１２５】
以上のように端末１１１およびサーバ１１２を構成することにより、端末１１１は、小規模音声素片ＤＢ１０１と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０４と、対応ＤＢ１０６とだけで構成することができるため、必要なメモリ容量を小さくできる。また、端末１１１では、小規模音声素片のみを用いて合成音を生成するので、計算量も小さくできる。対応ＤＢ１０６を端末１１１側で具備することにより、サーバ１１２の処理を軽減することが可能である。また、端末１１１からサーバ１１２への通信は、韻律情報と音声素片候補群の識別子のみである。素片候補群に関しても識別子のみの送信でよいため、通信量も非常に小さくできる。また、サーバ１１２は、音声素片候補を取得する処理を行なわなくてもよいため、サーバ１１２に対する処理負荷を軽減することができる。また、端末１１１への通信は、高音質化された合成音声を１度送信するだけでよく、通信量を小さくすることが可能である。
【０１２６】
（変形例３）
本変形例では、端末１１１は、小規模音声素片ＤＢ１０１、小規模音声素片選択部１０２、小規模音声素片接続部１０３、韻律修正部１０４、対応ＤＢ１０６、音声素片候補取得部１０７、大規模音声素片選択部１０８および大規模音声素片接続部１０９を具備する。サーバ１１２は、大規模音声素片ＤＢ１０５を具備する。
【０１２７】
本変形例と変形例２との違いは、大規模音声素片選択部１０８および大規模音声素片接続部１０９を端末１１１に具備する点である。
【０１２８】
本変形例の動作を図１０のフローチャートを用いて説明する。個々のステップは既に説明しているので詳細な説明は省略する。
【０１２９】
端末１１１を用いて編集処理を行なう。具体的には、韻律情報が生成される（ステップＳ００１）。次に、小規模音声素片選択部１０２は、小規模音声素片ＤＢ１０１から小規模音声素片系列を選択する（ステップＳ００２）。小規模音声素片接続部１０３は、小規模音声素片を接続して簡易版合成音を生成する（ステップＳ００３）。ユーザは生成された合成音を聞いて満足するかどうかの判断を行なう（ステップＳ００４）。満足しなかった場合は（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正する（ステップＳ００５）。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより目的の合成音が生成される。
【０１３０】
ユーザが簡易版合成音に満足した場合は（ステップＳ００４でＹＥＳ）、端末１１１は、対応ＤＢ１０６を用いて、対応する大規模音声素片ＤＢ１０５の候補となる素片識別子を取得し、大規模音声素片の選択候補群の識別子をサーバに送信する（ステップＳ００９）。
【０１３１】
次にサーバ側の動作を説明する。サーバ１１２は、受信した選択候補群の識別子に基づいて大規模音声素片ＤＢ１０５から音声素片候補群を選択し、端末１１１に送信する（ステップＳ００６）。
【０１３２】
次に端末１１１では、大規模音声素片選択部１０８が、取得した音声素片候補群から、既に確定した韻律情報に基づいて最適な大規模音声素片系列を算出する（ステップＳ００７）。
【０１３３】
大規模音声素片接続部１０９が、選択された大規模音声素片系列を接続して高音質版合成音を生成する（ステップＳ００８）。
【０１３４】
以上のように端末１１１およびサーバ１１２を構成することにより、サーバ１１２は、端末１１１から送信された音声素片候補群の識別子に基づいて、素片候補を端末１１１に送信するだけでよいので、サーバ１１２の計算負荷を大幅に削減することが可能である。また、端末１１１では、対応ＤＢ１０６により、小規模音声素片に対応する限定的な音声素片候補群から最適音声素片系列を選択すればよいので、計算量はそれほど大きくなく選択することが可能である。
【０１３５】
（変形例４）
本変形例では、端末１１１は、小規模音声素片ＤＢ１０１、小規模音声素片選択部１０２、小規模音声素片接続部１０３、韻律修正部１０４、大規模音声素片選択部１０８および大規模音声素片接続部１０９を具備する。サーバ１１２は、大規模音声素片ＤＢ１０５、対応ＤＢ１０６および音声素片候補取得部１０７を具備する。
【０１３６】
本変形例と変形例３との違いは、対応ＤＢ１０６をサーバ１１２に具備する点である。
【０１３７】
本変形例の動作を図１１のフローチャートを用いて説明する。個々のステップは既に説明しているので詳細な説明は省略する。
【０１３８】
端末１１１を用いて編集処理を行なう。具体的には、韻律情報が生成される（ステップＳ００１）。次に、小規模音声素片選択部１０２は、小規模音声素片ＤＢ１０１から小規模音声素片系列を選択する（ステップＳ００２）。小規模音声素片接続部１０３は、小規模音声素片を接続して簡易版合成音を生成する（ステップＳ００３）。ユーザは生成された合成音を聞いて満足するかどうかの判断を行なう（ステップＳ００４）。満足しなかった場合は（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正する（ステップＳ００５）。ステップＳ００２からステップＳ００５までを繰り返すことにより目的の合成音が生成される。
【０１３９】
ユーザが簡易版合成音に満足した場合は（ステップＳ００４でＹＥＳ）、サーバ１１２側に処理の制御が移される。
【０１４０】
サーバ１１２は、対応ＤＢ１０６を用いて、対応する大規模音声素片ＤＢ１０５の候補となる音声素片群を取得し、端末１１１に対して、大規模音声素片の選択候補群を送信する（ステップＳ００６）。
【０１４１】
選択候補群を受信した端末１１１では、大規模音声素片選択部１０８が取得された音声素片候補群から、既に確定した韻律情報に基づいて最適な大規模音声素片系列を算出する（ステップＳ００７）。
【０１４２】
大規模音声素片接続部１０９が、選択された大規模音声素片系列を接続して高音質版合成音を生成する（ステップＳ００８）。
【０１４３】
以上のように端末１１１およびサーバ１１２を構成することにより、サーバ１１２は、小規模音声素片系列の識別子を受信し、大規模音声素片ＤＢ１０５から対応ＤＢ１０６を用いて対応する音声素片候補群を端末１１１に送信するだけでよく、サーバ１１１の計算負荷を大幅に削減することができる。また、変形例３と比較すると端末１１１からサーバ１１２への通信は、小規模音声素片系列の識別子だけでよいので通信量も削減することが可能である。
【０１４４】
（実施の形態２）
次に、本発明の実施の形態２に係る多重品質音声合成装置について説明する。
【０１４５】
実施の形態１では、編集処理で合成音を作成する方法として、音声素片系列を接続して合成音を生成しているのに対し、本実施の形態では、ＨＭＭ（隠れマルコフモデル）音声合成方法を用いて合成音を生成する点が異なる。ＨＭＭ音声合成方法は、統計モデルに基づく音声合成法であり、統計モデルの容量がコンパクトで、かつ安定した音質の合成音を生成できるという特徴がある。ＨＭＭ音声合成方法は、公知の技術であるため、その詳細な説明は繰り返さない。
【０１４６】
図１２は、統計モデルによる音声合成方式の一つであるＨＭＭ音声合成方法を用いたテキスト音声合成装置の構成図である（参考文献：特開２００２−２６８６６０号公報）。
【０１４７】
テキスト音声合成装置は、学習部０３０と音声合成部０３１とを備えている。
【０１４８】
学習部０３０は、音声ＤＢ（データベース）０３２と、励振源パラメータ抽出部０３３と、スペクトルパラメータ抽出部０３４と、ＨＭＭの学習部０３５とを備えている。また、音声合成部０３１は、コンテキスト依存ＨＭＭファイル０３６と、テキスト解析部０３７と、パラメータ生成部０３８と、励振源生成部０３９と、合成フィルタ０４０とを備えている。
【０１４９】
学習部０３０は、音声ＤＢ０３２に格納されている音声情報を用いてコンテキスト依存ＨＭＭファイル０３６を学習させる機能をもつ。音声ＤＢ０３２には、あらかじめサンプルとして用意された多数の音声情報が格納されている。音声情報は、音声信号に、波形の各音素等の部分を識別するラベル情報（ａｒａｙｕｒｕやｎｕｕｙｏｏｋｕ）を付加したものである。
【０１５０】
励振源パラメータ抽出部０３３とスペクトルパラメータ抽出部０３４とは、それぞれ音声ＤＢ０３２から取り出した音声信号ごとに、励振源パラメータ列とスペクトルパラメータ列とを抽出する。ＨＭＭの学習部０３５は、抽出された励振源パラメータ列とスペクトルパラメータ列とについて、音声ＤＢ０３２から音声信号とともに取り出したラベル情報および時間情報を用いて、ＨＭＭの学習処理を行なう。学習されたＨＭＭは、コンテキスト依存ＨＭＭファイル０３６に格納される。
【０１５１】
励振源モデルのパラメータは、多空間分布ＨＭＭを用いて学習される。多空間分布ＨＭＭは、パラメータベクトルの次元が、毎回、異なることを許すように拡張されたＨＭＭであり、有声／無声フラグを含んだピッチは、このような次元が変化するパラメータ列の例である。すなわち、有声時には１次元、無声時には０次元のパラメータベクトルとなる。学習部０３０では、この多空間分布ＨＭＭによる学習を行っている。「ラベル情報」とは、具体的には、例えば、以下のようなものを指し、各ＨＭＭは、これらを属性名（コンテキスト）として持つ。
・｛先行，当該，後続｝音素
・当該音素のアクセント句内でのモーラ位置
・｛先行，当該，後続｝の品詞，活用形，活用型
・｛先行，当該，後続｝アクセント句のモーラ長，アクセント型
・当該アクセント句の位置，前後のポーズの有無
・｛先行，当該，後続｝呼気段落のモーラ長
・当該呼気段落の位置
・文のモーラ長
このようなＨＭＭは、コンテキスト依存ＨＭＭと呼ばれる。
【０１５２】
音声合成部０３１は、任意の電子的なテキストから読み上げ形式の音声信号列を生成する機能をもつ。テキスト解析部０３７は、入力されたテキストを解析して、音素の配列であるラベル情報に変換する。パラメータ生成部０３８は、ラベル情報に基づいてコンテキスト依存ＨＭＭファイル０３６を検索し、得られたコンテキスト依存ＨＭＭを接続し、文ＨＭＭを構成する。パラメータ生成部０３８は、得られた文ＨＭＭから、さらにパラメータ生成アルゴリズムにより、励振源パラメータ、およびスペクトルパラメータの列を生成する。励振源生成部０３９および合成フィルタ０４０は、励振源パラメータおよびスペクトルパラメータの列に基づいて、合成音を生成する。
【０１５３】
以上のようにテキスト音声合成装置を構成することによって、ＨＭＭ音声合成処理では、統計モデルによる安定した合成音を生成することが可能である。
【０１５４】
図１３は、本発明の実施の形態２における多重品質音声合成装置の構成図である。図１３において、図２と同じ構成要素については同じ符号を用い、説明を省略する。
【０１５５】
多重品質音声合成装置は、複数の品質の音声を合成する装置であり、ＨＭＭモデルＤＢ５０１と、ＨＭＭモデル選択部５０２と、合成部５０３と、韻律修正部１０４と、大規模音声素片ＤＢ１０５と、対応ＤＢ５０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを含む。
【０１５６】
ＨＭＭモデルＤＢ５０１は、音声データに基づいて学習されたＨＭＭモデルを保持するデータベースである。
【０１５７】
ＨＭＭモデル選択部５０２は、少なくとも音韻情報と韻律情報とを入力として受け、ＨＭＭモデルＤＢ５０１から最適なＨＭＭモデルを選択する処理部である。
【０１５８】
合成部５０３は、ＨＭＭモデル選択部５０２により選択されたＨＭＭモデルを用いて合成音を生成する処理部である。
【０１５９】
対応ＤＢ５０６は、ＨＭＭモデルＤＢ５０１に保持されているＨＭＭモデルと大規模音声素片ＤＢ１０５に保持されている音声素片とを関連付けるデータベースである。
【０１６０】
本実施の形態も実施の形態１と同様に図４のような多重品質音声合成システムとして実装することができる。端末１１１は、ＨＭＭモデルＤＢ５０１と、ＨＭＭモデル選択部５０２と、合成部５０３と、韻律修正部１０４と、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とで構成される。サーバ１１２は、大規模音声素片ＤＢ１０５で構成される。
【０１６１】
このように多重品質音声合成システムを構成することにより、ＨＭＭモデルのファイルはモデルベースであるため、端末１１１に要求される記憶容量を小さくすることができる（数Ｍバイト程度）。また大規模音声素片ＤＢ１０５（数百から数Ｇバイト）はサーバ１１２に集中して保持しておけばよい。
【０１６２】
次に本発明の実施の形態２に係る多重品質音声合成装置の処理の流れを、図１４に示すフローチャートを用いて説明する。本実施の形態に係る多重品質音声合成装置の動作も、実施の形態１に係る多重品質音声合成装置の動作と同様に、合成音の編集処理と、編集された合成音の高音質化処理に分けられる。以下、合成音の編集処理と、高音質化処理とに分けて順に説明を行う。
【０１６３】
＜編集処理＞
まず、合成音の編集について説明する。前処理として、ユーザにより入力されたテキスト情報が解析され、音韻系列とアクセント記号を元に韻律情報が生成される（Ｓ１０１）。韻律情報の生成の方法は特に限定されるものではなく、例えば、テンプレートを参照して生成するようにしてもよいし、数量化Ｉ類を用いて推定するようにしても良い。また、韻律情報は外部から直接入力されても良い。
【０１６４】
ＨＭＭモデル選択部５０２は、ステップＳ１０１により得られた音韻情報および韻律情報に基づいてＨＭＭ音声合成を行なう（ステップＳ１０２）。具体的には、ＨＭＭモデル選択部５０２が、入力された音韻情報および韻律情報に基づいてＨＭＭモデルＤＢ５０１から最適なＨＭＭモデルを選択し、選択されたＨＭＭモデルから合成パラメータを生成する。その詳細については既に説明したのでここでは省略する。
【０１６５】
合成部５０３は、ＨＭＭモデル選択部５０２によって生成された合成パラメータに基づき音声波形を合成する（ステップＳ１０３）。合成する方法は特に限定するものではない。
【０１６６】
合成部５０３は、ステップＳ１０３により作成された合成音を出力することによりユーザに提示する（ステップＳ１０４）。
【０１６７】
韻律修正部１０４は、ユーザが合成音に満足しているか否かの入力を受け付け、ユーザが満足している場合には（ステップＳ００４でＹＥＳ）、編集処理を終了し、ステップＳ１０６以降の処理が実行される。
【０１６８】
ユーザが合成音に満足していない場合には（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正するための情報のユーザによる入力を受け付け、ターゲットとなる韻律情報を修正する（ステップＳ００５）。「韻律情報の修正」とは、例えば、アクセント位置の変更、基本周波数の変更、継続時間長の変更などを含む。これにより、ユーザは、現状の合成音の韻律で満足できない箇所を修正することができる。修正が終了すると、ステップＳ００２に戻る。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより、ユーザは自分が望む韻律の合成音を作成することが可能である。以上のステップにより、ユーザは、ＨＭＭ合成に基づく音声コンテンツを作成することができる。
【０１６９】
＜高音質化処理＞
次に高音質化の処理の流れを説明する。図１５は、高音質化処理の動作例を示した図である。
【０１７０】
音声素片候補取得部１０７は、編集処理で最後に確定したＨＭＭモデル系列（Ｍ＝ｍ1，ｍ2，…，ｍn）を元に、大規模音声素片ＤＢ１０５から音声素片候補を取得する（ステップＳ１０６）。すなわち、音声素片候補取得部１０７は、ＨＭＭモデルＤＢ５０１に保持されているＨＭＭモデルと大規模音声素片ＤＢ１０５の素片との対応関係を示す情報を保持する対応ＤＢ５０６を用いて、ステップＳ１０２の処理により選択されたＨＭＭモデルＤＢ５０１内のＨＭＭモデルに関連する大規模音声素片候補を、大規模音声素片ＤＢ１０５から取得する。
【０１７１】
図１５の例では、音声素片候補取得部１０７は、音素「／ａ／」を合成するために選択されたＨＭＭモデル（ｍ１）に対応した大規模音声素片（ｈ11，ｈ12，ｈ13，ｈ14）を、対応ＤＢ５０６を参照して、大規模音声素片ＤＢ１０５より選択する。同様に、音声素片候補取得部１０７は、ＨＭＭモデルｍ２，…，ｍｎに対しても対応ＤＢ５０６を参照することにより、大規模音声素片ＤＢ１０５より大規模音声素片候補を取得することができる。対応ＤＢ５０６の作成方法については後述する。
【０１７２】
大規模音声素片選択部１０８は、ステップＳ００６で取得された大規模音声素片候補から、ユーザにより編集された韻律情報に最適な音声素片系列を選択する（ステップＳ００７）。選択の方法は、実施の形態１と同一の方法でよいので説明を省略する。図１５の例では、結果としてＨ＝ｈ13，ｈ22，ｈ33，ｈ42，ｈ53，ｈ63，ｈ73の大規模音声素片系列を得ることができる。
【０１７３】
大規模音声素片接続部１０９は、ステップＳ００７で選択された大規模音声素片ＤＢ１０５に保持されている音声素片系列（Ｈ＝ｈ13，ｈ22，ｈ33，ｈ42，ｈ53，ｈ63，ｈ73）を接続し、合成音を生成する（ステップＳ００８）。接続の方法は実施の形態１と同一の方法でよいので説明を省略する。
【０１７４】
以上の処理により、編集処理で編集した簡易版の合成音に韻律・声質が類似し、かつ大規模音声素片ＤＢ１０５に格納された大規模音声素片を用いた高音質な合成音を生成することが可能になる。
【０１７５】
＜対応ＤＢの作成方法＞
次に、対応ＤＢ１０６について詳しく説明する。
【０１７６】
対応ＤＢ１０６作成時には、ＨＭＭモデルＤＢ５０１に保持されているＨＭＭモデルと大規模音声素片ＤＢ１０５に保持されている音声素片とを対応付けるために、ＨＭＭモデルの学習行程が利用される。
【０１７７】
まず、ＨＭＭモデルＤＢ５０１に保持されているＨＭＭモデルの学習方法について説明する。ＨＭＭ音声合成において、ＨＭＭモデルは、通常、先行音素、当該音素、後続音素などのコンテキストの組合せからなる「コンテキスト依存モデル」と呼ばれるモデルを使用する。しかし、音素種類だけでも数十種類あるため、組合せによりコンテキスト依存モデルの総数は膨大なものになる。それに伴って、コンテキスト依存モデルのモデル当たりの学習データが小さくなるという問題がある。そこで通常は、コンテキストのクラスタリングが行なわれる。コンテキストのクラスタリング処理は公知の技術であるため、その詳細な説明は繰り返さない。
【０１７８】
本実施の形態では、大規模音声素片ＤＢ１０５を用いてこのＨＭＭモデルを学習する。このときの大規模音声素片ＤＢ１０５に保持されている音声素片群に対してコンテキストクラスタリングを行なった結果の例を図１６に示す。大規模音声素片ＤＢ１０５の音声素片群７０２の各音声素片は四角形で表され、数字は音声素片識別子を表す。コンテキストクラスタリングでは、音声サンプルをコンテキスト（例えば、先行音素が有声音であるか等）により分類していく。このとき、図１６に示す決定木のように段階的に、音声素片をクラスタリングしていく。
【０１７９】
この際、決定木のリーフノード７０３には、同一のコンテキストを持つ音声素片が分類されることとなる。図の例では、先行音素が有声音であり、先行音素が母音であり、かつ先行音素が／ａ／である音声素片（音声素片番号１および音声素片番号２の音声素片）がリーフノード７０３に分類される。リーフノード７０３については、音声素片番号１および音声素片番号２の音声素片を学習データとして、ＨＭＭモデルを学習し、モデル番号「Ａ」というＨＭＭモデルが作成される。
【０１８０】
すなわち、同図において、モデル番号「Ａ」のＨＭＭモデルは、大規模音声素片ＤＢ１０５の音声素片番号１および２の音声素片から学習されることになる。なお、同図は概念図であり、実際にはさらに大量の音声素片からＨＭＭモデルが学習される。
【０１８１】
この関係を利用して、モデル番号「Ａ」のＨＭＭモデルと、当該ＨＭＭモデルを学習する際に利用された音声素片（音声素片番号１および音声素片番号２の音声素片）との対応関係を示す情報が対応ＤＢ５０６に保持される。
【０１８２】
以上の対応関係を用いることにより、例えば、図１７に示すような対応ＤＢ５０６を作成することができる。この例では、モデル番号「Ａ」のＨＭＭモデルは、大規模音声素片ＤＢ１０５の音声素片番号「１」および「２」の音声素片に対応付けられていることが示されている。また、モデル番号「Ｂ」のＨＭＭモデルは、大規模音声素片ＤＢ１０５の音声素片番号「３」および「４」の音声素片に対応付けられていることが示されている。以下同様に、全てのリーフノード群のＨＭＭモデルのモデル番号と大規模音声素片ＤＢ１０５の大規模音声素片番号との対応関係をテーブルとして保持することができる。また、このように、当該対応関係をテーブルとして保持することにより、ＨＭＭモデルと大規模音声素片との関連を高速に参照することが可能である。
【０１８３】
このように対応ＤＢ５０６を構成することにより、編集処理で編集され、完成した合成音を生成するのに使用したＨＭＭモデルと、そのＨＭＭモデルを学習するために用いられた大規模音声素片ＤＢ１０５の音声素片とが対応付けられている。したがって、音声素片候補取得部１０７が選択した大規模音声素片ＤＢ１０５の音声素片候補は、ＨＭＭモデル選択部５０２がＨＭＭモデルＤＢ５０１から選択されたＨＭＭモデルの学習サンプルの実波形である。また、当該音声素片候補と当該ＨＭＭモデルとの韻律情報および声質情報は当然類似している。また、ＨＭＭモデルは、統計処理を行うことにより作成されている。このため、ＨＭＭモデルの学習に用いられた音声素片と比べ、再生時になまりが生じる。すなわち、学習サンプルの平均などの統計処理により本来波形が持つべき微細構造が失われている。しかし、大規模音声素片ＤＢ１０５内の音声素片は、統計処理されていないので、微細な構造をそのまま保持している。そのため、音質という観点では、ＨＭＭモデルを利用して合成部５０３が出力する合成音と比べて、高音質な合成音を得ることができるようになる。
【０１８４】
すなわち、統計モデルとその学習データとの関係から韻律・声質の類似性が確保でき、かつ、統計処理を行なわず、音声の微細構造を現している音声素片をも保存していることから、高音質な合成音を生成できるという効果がある。
【０１８５】
なお、上記の説明では、ＨＭＭモデルが音素単位で学習されることを前提としていたが、学習の単位は音素でなくとも良い。例えば、図１８に示すように１音素に対して、ＨＭＭモデルにおける複数の状態を保持し、各状態で個別に統計量を学習するようにしても良い。同図は、「／ａ／」という音素に対して３つの状態でＨＭＭモデルを構成した場合の例を示している。この場合、対応ＤＢ５０６は、ＨＭＭモデルにおける各状態と大規模音声素片ＤＢ１０５に格納されている音声素片とを対応付けるための情報を記憶している。
【０１８６】
同図の例では、対応ＤＢ５０６を用いることにより、最初の状態「ｍ１１」を、学習に使用された大規模音声素片ＤＢ１０５の音声素片（音声素片番号１，２，３）に展開することができることを示している。また、２番目の状態「ｍ１２」を、大規模音声素片ＤＢ１０５の音声素片（音声素片番号１，２，３，４，５）に、対応ＤＢ５０６を用いて展開することができる。同様に、最終状態「ｍ１３」も、大規模音声素片ＤＢ１０５の音声素片（音声素片番号１，３，４，６）に、対応ＤＢ５０６を用いて展開することができる。
【０１８７】
そして音声素片候補取得部１０７は、以下の３つの基準で音声素片候補を選択することができる。
【０１８８】
（１）ＨＭＭの各状態に対応付けられた大規模音声素片の和集合を音声素片候補とする。図１８の例では、音声素片番号｛１，２，３，４，５，６｝の大規模音声素片を選択候補として選択する。
【０１８９】
（２）ＨＭＭの各状態に対応付けられた大規模音声素片の積集合を音声素片候補とする。図１８の例では、音声素片番号｛１，３｝の大規模音声素片を選択候補として選択する。
【０１９０】
（３）ＨＭＭの各状態に対応付けられた大規模音声素片の集合で、所定の閾値以上の集合に属する音声素片を音声素片候補とする。所定の閾値を「２」とした場合、図１８の例では、例えば、音声素片番号｛１，２，３，４｝の大規模音声素片を選択候補として選択する。
【０１９１】
なお、各基準は組み合わせて用いても良い。例えば、音声素片候補取得部１０７が選択する音声素片候補が一定数に満たなかった場合は、異なる基準で音声素片候補を選択するように設計しても良い。
【０１９２】
かかる構成によれば、端末１１１にＨＭＭモデルＤＢ５０１と、ＨＭＭモデル選択部５０２と、合成部５０３と、韻律修正部１０４と、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを具備し、サーバ１１２は、大規模音声素片ＤＢ１０５を具備するような構成とすることにより、端末１１１に要求される記憶容量は大きくなくて良い。また、大規模音声素片ＤＢ１０５は、サーバ１１２に集中して保持しておけばよいので、端末１１１が複数存在する場合においても、大規模音声素片ＤＢ１０５は、サーバ１１２に１つ保持しておくだけでよい。
【０１９３】
このとき、編集処理としては、端末１１１のみで、ＨＭＭ音声合成を用いて合成音を作成できる。また、韻律修正部１０４により、ユーザによる合成音の編集処理が可能となる。このとき、ＨＭＭ音声合成は、大規模音声素片ＤＢ１０５を探索して合成する場合と比較して、非常に高速に合成音を生成することができる。このため、合成音の編集時の計算コストを削減でき、複数回の編集を行なう場合においても、レスポンス良く合成音編集することが可能となる。
【０１９４】
さらに、編集作業が完了した後、サーバ１１２に保持されている大規模音声素片ＤＢ１０５を用いて高音質化処理が可能となるが、このとき、対応ＤＢ１０６により、編集処理によって既に決定されているＨＭＭモデルのモデル番号と大規模音声素片ＤＢ１０５の音声素片候補の音声素片番号とが対応付けられているため、大規模音声素片選択部１０８による音声素片の選択は、改めて音声素片を再選択する場合と比較して、限定された探索空間を探索するのみでよいので計算量を大幅に削減することができる。
【０１９５】
また、端末１１１とサーバ１１２との間の通信は、高品質化処理を行なう際に１度だけ通信を行なえばよいので、通信に伴う時間的ロスを低減できる。すなわち、編集作業と、高音質化処理とを分離することにより、音声コンテンツの編集作業に要するレスポンスを向上させることが可能である。
【０１９６】
さらに、実施の形態１では、小規模ではあるが音声波形そのものを保持しなければならないことと比較して、本実施の形態では、端末側では、ＨＭＭモデルのファイルのみを保持しておけばよいので、端末に要求される記憶容量をさらに削減することができる。
【０１９７】
なお、本実施の形態では、実施の形態１の変形例１〜４に示したと同様に、端末とサーバとで各構成要素を分担させてもよい。この場合、小規模音声素片ＤＢ１０１、小規模音声素片選択部１０２、小規模音声素片接続部１０３および対応ＤＢ１０６が、ＨＭＭモデルＤＢ５０１、ＨＭＭモデル選択部５０２、合成部５０３および対応ＤＢ５０６にそれぞれ対応する。
【０１９８】
（実施の形態３）
上述のように音声合成の作成を、音声コンテンツの作成（編集）と考えた場合、作成した音声コンテンツを第三者に提供するスタイルが考えられる。すなわち、コンテンツ作成者とコンテンツ利用者とが異なる場合である。音声コンテンツを第三者に提供する例として、携帯電話などを用いて音声コンテンツを作成する場合に、音声コンテンツの作成者がネットワークなどを通じて作成した音声コンテンツを送信し、受信者が音声コンテンツを受け取るといったような音声コンテンツの流通形態が考えられる。具体的には、電子メール等を用いた音声メッセージの送受信を考えた場合、作成者が作成した音声コンテンツを相手に送信するといったサービスが考えられる。
【０１９９】
その際には、どのような情報を通信するかが重要になってくる。さらに、送信者および受信者が同じ小規模音声素片ＤＢ１０１やＨＭＭモデルＤＢ５０１を共有する場合には、流通に必要な情報を削減することができる。
【０２００】
また、音声コンテンツの編集処理を作成者が行い、受信者は、受信した音声コンテンツを試聴し、気に入った場合には高音質化処理を行なうなどといった利用方法が考えられる。
【０２０１】
本発明の実施の形態３は、作成した音声コンテンツの通信方法と、高音質化処理の方法に関する。
【０２０２】
図１９は、本発明の実施の形態３に係る多重品質音声合成システムの構成を示すブロック図である。本実施の形態は、編集処理を音声コンテンツ作成者が行い、高音質化処理を音声コンテンツ受信者が行なうものであり、作成者が使用する端末と受信者が使用する端末との間に通信手段を設けている点が実施の形態１および２と異なる。
【０２０３】
多重品質音声合成システムは、作成端末１２１と、受信端末１２２と、サーバ１２３とを備えている。作成端末１２１と、受信端末１２２と、サーバ１２３とはネットワーク１１３を介して相互に接続されている。
【０２０４】
作成端末１２１は、音声コンテンツ作成者が音声コンテンツを編集するために利用する装置である。受信端末１２２は、作成端末１２１により作成された音声端末を受信する装置である。作成端末１２１は、音声コンテンツ受信者が利用する。サーバ１２３は、大規模音声素片ＤＢ１０５を保持し、音声コンテンツの高音質化処理を行なう装置である。
【０２０５】
作成端末１２１、受信端末１２２およびサーバ１２３が有する機能について、実施の形態１の構成を元に説明する。作成端末１２１は、小規模音声素片ＤＢ１０１と、対応ＤＢ１０６と、小規模音声素片選択部１０２と、小規模音声素片接続部１０３と、韻律修正部１０４とにより構成される。受信端末１２２は、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とにより構成される。サーバ１２３は、大規模音声素片ＤＢ１０５により構成される。
【０２０６】
図２０および図２１は、実施の形態３に係る多重品質音声合成システムによる処理の流れを示すフローチャートである。
【０２０７】
多重品質音声合成システムによる処理は、編集処理、通信処理、確認処理および高音質化処理の４つの処理に分かれる。以下、それぞれの処理について説明する。
【０２０８】
＜編集処理＞
編集処理は、作成端末１２１上で実行される。処理内容は実施の形態１と同一でよい。簡単に説明すると、前処理として、ユーザにより入力されたテキスト情報が解析され、音韻系列とアクセント記号とを元に韻律情報が生成される（ステップＳ００１）。
【０２０９】
小規模音声素片選択部１０２は、ステップＳ００１により得られた韻律情報に基づいて、小規模音声素片ＤＢ１０１からターゲット韻律との距離（ターゲットコスト（Ｃｔ））と、音声素片の接続性（接続コスト（Ｃｃ））とを考慮して、最適な音声素片系列を選択する（ステップＳ００２）。具体的には上述の式（１）に示すコストが最小となる音声素片系列をビタビアルゴリズムにより探索する。
【０２１０】
小規模音声素片接続部１０３は、小規模音声素片選択部１０２により選択された音声素片系列を用いて音声波形を合成し、合成音を出力することによりユーザに提示する（ステップＳ００３）。
【０２１１】
韻律修正部１０４は、ユーザが合成音に満足しているか否かの入力を受け付け、ユーザが合成音に満足している場合には（ステップＳ００４でＹＥＳ）、編集処理が終了し、ステップＳ２０１以降の処理が実行される。
【０２１２】
ユーザが合成音に満足していない場合には（ステップＳ００４でＮＯ）、韻律修正部１０４は、韻律情報を修正するための情報のユーザによる入力を受け付け、ターゲットとなる韻律情報を修正する（ステップＳ００５）。修正が終了すると、ステップＳ００２に戻る。ステップＳ００２からステップＳ００５までの処理を繰り返すことにより、ユーザは自分が望む韻律の合成音を作成することが可能である。
【０２１３】
＜通信処理＞
次に通信処理について説明する。
【０２１４】
作成端末１２１は、作成端末１２１上での編集処理によって確定された小規模音声素片系列および韻律情報をインターネットなどのネットワークを通じて、受信端末１２２に送信する（ステップＳ２０１）。通信の方法は特に限定するものではない。
【０２１５】
受信端末１２２は、ステップＳ２０１で送信された韻律情報および小規模音声素片系列を受信する（ステップＳ２０２）。
【０２１６】
以上の通信処理により、受信端末１２２は、作成端末１２１で作成された音声コンテンツを再構成可能な最小限の情報を得ることができる。
【０２１７】
＜確認処理＞
次に確認処理について説明する。
【０２１８】
受信端末１２２は、小規模音声素片ＤＢ１０１からステップＳ２０２により受信した小規模音声素片系列の音声素片を取得し、小規模音声素片接続部１０３により受信した韻律情報に合わせた合成音を作成する（ステップＳ２０３）。合成音の作成処理は、ステップＳ００３と同様である。
【０２１９】
受信者は、ステップＳ２０３により作成された簡易合成音を確認し、受信端末１２２は、受信者の判断結果を受け付ける（ステップＳ２０４）。このとき、受信者が簡易版の合成音のままでよいと判断した場合には（ステップＳ２０４でＮＯ）、受信端末１２２は、簡易合成音を音声コンテンツとして採用する。一方、確認により、受信者が高音質化を要求した場合には（ステップＳ２０４でＹＥＳ）、ステップＳ００６以降の高音質化処理が行なわれる。
【０２２０】
＜高音質化処理＞
次に高音質化処理について説明する。
【０２２１】
受信端末１２２の音声素片候補取得部１０７は、小規模音声素片系列をサーバ１２３に送信し、サーバ１２３は、受信端末１２２の対応ＤＢ１０６を参照して、大規模音声素片ＤＢ１０５から音声素片候補を取得する（ステップＳ００６）。
【０２２２】
大規模音声素片選択部１０８は、ステップＳ００６で取得された韻律情報と音声素片候補とから上述の式（１）を満たす大規模音声素片系列を選択する（ステップＳ００７）。
【０２２３】
大規模音声素片接続部１０９は、ステップＳ００７で選択された大規模音声素片系列を接続し、高音質合成音を生成する（ステップＳ００８）。
【０２２４】
以上の構成により、作成端末１２１で作成した音声コンテンツを受信端末１２２に送信する際に、韻律情報および小規模音声素片系列のみを送信するだけでよいので、作成端末１２１と受信端末１２２との間の通信量を、合成音を送信する場合と比較して小さくすることが可能である。
【０２２５】
また、作成端末１２１では、小規模音声素片系列のみで合成音を編集できるため、サーバ１２３を介して高音質合成音を必ずしも作成する必要がなく、音声コンテンツ作成を簡略化することが可能となる。
【０２２６】
また、受信端末１２２では、韻律情報と小規模音声素片系列とに基づいて合成音を作成し、高音質化処理を行なう前に合成音を試聴することにより確認することができる。これにより、サーバ１２３にアクセスすることなく音声コンテンツを試聴することができる。さらに試聴した音声コンテンツを高音質化したい場合にのみサーバ１２３にアクセスし高音質化することができるため、受信者は、簡易版および高音質版の音声コンテンツを自由に選択できる。
【０２２７】
さらに大規模音声素片ＤＢ１０５を用いた素片選択処理では、対応ＤＢ１０６を用いることにより、小規模音声素片系列に対応付けられた音声素片のみを候補とすることができるため、受信端末１２２とサーバ１２３との間の通信量を削減でき、高音質化処理を効率的に行なえるという効果がある。
【０２２８】
なお、上記の説明では、受信端末１２２が、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを保持し、サーバ１２３が、大規模音声素片ＤＢ１０５を保持していたが、サーバ１２３に、大規模音声素片ＤＢ１０５と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とを持たせるようにしても良い。
【０２２９】
その場合は、受信端末での処理量を削減できるという効果と、受信端末とサーバとの間の通信を削減できるという効果がある。
【０２３０】
なお、上記の説明では、実施の形態１の構成を元に説明したが、実施の形態２の構成をもとに、作成端末１２１、受信端末１２２およびサーバ１２３が有する機能を構成するようにしてもよい。その場合は、作成端末１２１は、ＨＭＭモデルＤＢ５０１と、ＨＭＭモデル選択部５０２と合成部５０３と、韻律修正部１０４とで構成し、受信端末１２２は、対応ＤＢ１０６と、音声素片候補取得部１０７と、大規模音声素片選択部１０８と、大規模音声素片接続部１０９とで構成される。サーバ１２３は、大規模音声素片ＤＢ１０５により構成するようにすればよい。
【産業上の利用可能性】
【０２３１】
本発明は、音声合成装置に適用でき、特に、携帯電話等で利用される音声コンテンツを作成する際に利用される音声合成装置等に適用できる。
【図面の簡単な説明】
【０２３２】
【図１】図１は、従来の多段素片選択型音声合成装置の構成図である。
【図２】図２は、本発明の実施の形態１における多重品質音声合成装置の構成図である。
【図３】図３は、本発明の実施の形態１の対応ＤＢの例である。
【図４】図４は、本発明の実施の形態１における多重品質音声合成装置をシステムとして実現した場合の概念図である。
【図５】図５は、本発明の実施の形態１における多重品質音声合成装置の動作を示すフローチャートである。
【図６】図６は、本発明の実施の形態１の高音質化処理の動作例を示す図である。
【図７】図７は、大規模音声素片ＤＢに保持されている音声素片群に対して階層的クラスタリングを行った場合の概念図である。
【図８】図８は、本発明の実施の形態１の変形例１における多重品質音声合成処理のフローチャートである。
【図９】図９は、本発明の実施の形態１の変形例２における多重品質音声合成処理のフローチャートである。
【図１０】図１０は、本発明の実施の形態１の変形例３における多重品質音声合成処理のフローチャートである。
【図１１】図１１は、本発明の実施の形態１の変形例４における多重品質音声合成処理のフローチャートである。
【図１２】図１２は、統計モデルによる音声合成方式の一つであるＨＭＭ音声合成方法を用いたテキスト音声合成装置の構成図である。
【図１３】図１３は、本発明の実施の形態２における多重品質音声合成装置の構成図である。
【図１４】図１４は、本発明の実施の形態２における多重品質音声合成装置の動作を示すフローチャートである。
【図１５】図１５は、本発明の実施の形態２の高音質化処理の動作例を示す図である。
【図１６】図１６は、大規模音声素片ＤＢに保持されている音声素片群に対してコンテキストクラスタリングを行なった場合の概念図である。
【図１７】図１７は、本発明の実施の形態２の対応ＤＢの例である。
【図１８】図１８は、本発明の実施の形態２の高音質化処理において、素片単位に複数の状態のＨＭＭが割り当てられている場合の動作例を示す図である。
【図１９】図１９は、本発明の実施の形態３に係る多重品質音声合成システムの構成を示すブロック図である。
【図２０】図２０は、実施の形態３に係る多重品質音声合成システムによる処理の流れを示すフローチャートである。
【図２１】図２１は、実施の形態３に係る多重品質音声合成システムによる処理の流れを示すフローチャートである。
【符号の説明】
【０２３３】
１０１  小規模音声素片ＤＢ
１０２  小規模音声素片選択部
１０３  小規模音声素片接続部
１０４  韻律修正部
１０５  大規模音声素片ＤＢ
１０６、５０６  対応ＤＢ
１０７  音声素片候補取得部
１０８  大規模音声素片選択部
１０９  大規模音声素片接続部
５０１  ＨＭＭモデル
５０２  ＨＭＭ音声合成部
５０３  合成部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007141993.tif 000028
【図２】
2007141993.tif 000029
【図３】
2007141993.tif 000030
【図４】
2007141993.tif 000031
【図５】
2007141993.tif 000032
【図６】
2007141993.tif 000033
【図７】
2007141993.tif 000034
【図８】
2007141993.tif 000035
【図９】
2007141993.tif 000036
【図１０】
2007141993.tif 000037
【図１１】
2007141993.tif 000038
【図１２】
2007141993.tif 000039
【図１３】
2007141993.tif 000040
【図１４】
2007141993.tif 000041
【図１５】
2007141993.tif 000042
【図１６】
2007141993.tif 000043
【図１７】
2007141993.tif 000044
【図１８】
2007141993.tif 000045
【図１９】
2007141993.tif 000046
【図２０】
2007141993.tif 000047
【図２１】
2007141993.tif 000048
【国際調査報告】
2007141993.tif 000049
2007141993.tif 000050
2007141993.tif 000051
2007141993.tif 000052