(57)【要約】【課題】  音声パラメータを変更した変更済音声波形も有する音声波形データベースを構成した音声データベース構築方法、装置、プログラムを提供する。【解決手段】  音声データベース構築において、予め用意された肉声音声波形に対して、指定された変更量パラメータに基づいて、音高、或いは長さ、或いはパワーその他の音声パラメータを信号処理により変更して新たに韻律変更済音声波形を生成し、肉声音声波形に付与されている、発声内容とその位置を示す音素ラベル情報、或はパワー情報、或いは音高情報、或いはピッチマーク情報、その他の音声情報を、韻律変更済音声波形の生成においてなされた変更量に対応して変更することにより新たな音声情報を生成し、肉声音声波形およびその音声情報と、韻律変更済の音声波形およびその音声情報を用いて音声波形データベースを生成する音声データベース構築方法、装置、プログラム。【選択図】  図１
2006126556.tif 000002
【特許請求の範囲】
【請求項１】
波形接続型テキスト音声合成装置において用いられる音声波形データベースを構築する音声データベース構築方法において、
予め用意された肉声音声波形に対して、音声波形の音質劣化が生じない範囲内で指定された変更量パラメータに基づいて、音高、或いは長さ、或いはパワー、その他の音声パラメータを信号処理により変更して、新たに韻律変更済音声波形を生成するステップを実行し、
肉声音声波形に付与されている、発声内容とその位置を示す音素ラベル情報、或いはパワー情報、或いは音高情報、或いはピッチマーク情報、その他の音声情報を、韻律変更済音声波形を生成するステップにおいてなされた変更量に対応して変更することにより新たな音声情報を生成するステップを実行し、
肉声音声波形およびその音声情報と、韻律変更済の音声波形およびその音声情報とを用いて音声波形データベースを生成するステップを実行する、
ことを特徴とする音声データベース構築方法。
【請求項２】
波形接続型テキスト音声合成装置において用いられる音声波形データベースを構築する音声データベース構築装置において、
予め用意された肉声音声波形に対して、音声波形の音質劣化が生じない範囲内で指定された変更量パラメータに基づいて、音高、或いは長さ、或いはパワー、その他の音声パラメータを信号処理により変更して、新たに韻律変更済音声波形を生成する音声波形変更部と、
肉声音声波形に付与されている、発声内容とその位置を示す音素ラベル情報、或いはパワー情報、或いは音高情報、或いはピッチマーク情報、を、韻律変更済音声波形の生成においてなされた変更量に対応して変更することにより新たな音声情報を生成する音声情報変更部と、
肉声音声波形およびその音声情報と、韻律変更済の音声波形およびその音声情報とを用いて音声波形データベースを生成する音声波形データベース生成部と、
を有することを特徴とする音声データベース構築装置。
【請求項３】
請求項１に記載されるステップをこの順に実行する指令をコンピュータに対してすることを特徴とする音声波形データベース構築プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声波形データベース構築方法、この方法を実施する装置およびプログラムに関し、特に、波形接続型のテキスト音声合成装置において用いられる音声波形データベースを構築する際に用いられ、この音声波形データベースを用いたテキスト音声合成装置において、音声合成に要する実行時間、計算量が小さく、かつ、高品質な音声合成を実施する音声波形データベース構築方法、この方法を実施する装置およびプログラムに関する。
【背景技術】
【０００２】
近年の音声合成技術分野においては、大容量の記憶装置に数十分から数十時間の大量の肉声データを格納して音声波形データベースを構成し、入力されたテキストに応じて、適切な基準で音声波形データベースから適切な長さの音声波形を切り出し、これらを接続して合成音声を生成する波形接続型音声合成方法が提案されている（特許文献１  参照）。この波形接続型音声合成方法は、音声波形データベース中に適切な音高、長さの音声波形が存在しなかった場合、生成される合成音声のイントネーションが不自然になる場合がある。そこで、合成音声に所望のイントネーションを与えるために、音声波形データベースから切り出した音声波形に信号処理を施して、その音高、長さその他の音声パラメータを変更する方法が提案されている（特許文献１  参照）。
【特許文献１】特許第２７６１５５２号  明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところが、信号処理によって音声波形の音高、長さを変更すると、その変更量が大きい場合は音質が劣化するという問題があった。また、信号処理を行うと、単純に波形接続を実行した場合と比較して、より計算量が増大する上に、合成音声の生成処理に要する時間も増大するという問題があった。
この発明は、上述の問題に鑑みてなされたものであり、波形接続型テキスト音声合成において、肉声音声波形に音声パラメータを変更した変更済音声波形をも加えて音声波形データベースを構成することにより、音声合成に要する実行時間、計算量が小さく、かつ高品質な合成音声を生成することができる、先の問題を解消した音声波形データベース構築方法、この方法を実施する装置およびプログラムを提供するものである。
【課題を解決するための手段】
【０００４】
請求項１：波形接続型テキスト音声合成装置において用いられる音声波形データベースを構築する音声データベース構築方法において、予め用意された肉声音声波形に対して、音声波形の音質劣化が生じない範囲内で指定された変更量パラメータに基づいて、音高、或いは長さ、或いはパワー、その他の音声パラメータを信号処理により変更して、新たに韻律変更済音声波形を生成するステップを実行し、肉声音声波形に付与されている、発声内容とその位置を示す音素ラベル情報、或いはパワー情報、或いは音高情報、或いはピッチマーク情報、その他の音声情報を、韻律変更済音声波形を生成するステップにおいてなされた変更量に対応して変更することにより新たな音声情報を生成するステップを実行し、肉声音声波形およびその音声情報と、韻律変更済の音声波形およびその音声情報とを用いて音声波形データベースを生成するステップを実行する、音声データベース構築方法を構成した。
【０００５】
そして、請求項２：波形接続型テキスト音声合成装置において用いられる音声波形データベースを構築する音声データベース構築装置において、予め用意された肉声音声波形に対して、音声波形の音質劣化が生じない範囲内で指定された変更量パラメータに基づいて、音高、或いは長さ、或いはパワー、その他の音声パラメータを信号処理により変更して、新たに韻律変更済音声波形を生成する音声波形変更部４と、肉声音声波形に付与されている、発声内容とその位置を示す音素ラベル情報、或いはパワー情報、或いは音高情報、或いはピッチマーク情報、その他の音声情報を、韻律変更済音声波形の生成においてなされた変更量に対応して変更することにより新たな音声情報を生成する音声情報変更部５と、肉声音声波形およびその音声情報と、韻律変更済の音声波形およびその音声情報とを用いて音声波形データベースを生成する音声波形データベース生成部８と、を有する音声データベース構築装置を構成した。
【０００６】
また、請求項３：請求項１に記載されるステップをこの順に実行する指令をコンピュータに対してする音声波形データベース構築プログラムを構成した。
【発明の効果】
【０００７】
この発明は、波形接続型テキスト音声合成装置において用いられる音声波形データベースを構築する課程において、
音声波形データベースを構築する肉声音声波形と、肉声音声波形に発声内容とその位置を示す音素ラベル情報、或いはパワー情報、或いは音高情報、或いはピッチマーク情報、その他の音声情報が用意されている段階で、
音声波形データベース中の肉声音声波形全てに対して、音声波形変更部により指定された変更量パラメータに基づいて、音高、或いは長さその他の音声パラメータを信号処理により変更して韻律変更済の音声波形を新たに生成し、
音声波形データベース中の肉声発声に付与されている、発声内容とその位置を示すための音素ラベル情報、或いはパワー情報、或いは音高情報その他の音声情報を、音声情報変更部により、音声波形変更部においてなされた変更量に対応して変更することにより新たな音声情報を生成し、
上述した肉声音声波形およびその音声情報と、韻律変更済の音声波形およびその音声情報を用いて、音声波形データベース生成部により音声波形データベースを構築する構成を採用している。これにより、予め信号処理により多様な韻律バリエーションを持つ音声波形が音声波形データベースに含まれることになり、音声波形データベース中に、合成したいテキストに対応した適切な音高或いは長さ或いはパワーその他の音声パラメータの音声波形が存在する可能性が高くなり、自然なイントネーションを持つ高品質な音声合成をすることができる。
【０００８】
そして、音声波形変更部で行う肉声音声波形に対する信号処理において、韻律の変更は音質劣化が生じない範囲で行われているので、音質劣化のない高品質な音声合成をすることができる。
また、音声波形に対する信号処理をデータベース構築の段階で行うので、音質劣化は少ないが計算量を要する信号処理手法を用いることができるところから、合成音声生成処理に要する時間を増大させずに、音質劣化のない自然なイントネーションを持つ高品質な音声合成をすることができる。
【発明を実施するための最良の形態】
【０００９】
発明を実施するための最良の形態を図１の実施例を参照して説明する。
１は音声波形データベース構築装置であり、音声波形変更部４と、音声情報変更部５と、変更済音声波形データ６と、変更済音声情報７と、音声波形データベース生成部8とから構成されている。
音声波形データベース構築装置１は、肉声音声波形データ２と、その音素ラベル情報、或いはパワー情報、或いは音高情報、或いはピッチマーク情報その他の肉声音声情報３を入力として、音声波形データベース9を構築する音声波形データベース構築装置である。音声波形データベース構築装置１は、また、周知のハードウエアから構成されるコンピュータ装置とそのＣＰＵを駆動するソフトウエアであるコンピュータプログラムとからなり、音声波形変更部４と、音声情報変更部５と、音声波形データベース生成部8のそれぞれはハードウエアとソフトウエアの内の何れか一方或いは双方によって構成されている。
【００１０】
肉声音声波形データ２は、例えば、ナレーターの発声により単語、文章を読み上げた音声データをＡＤ変換して、ハードディスクの如き記憶媒体の記憶領域に格納したものである。
肉声音声情報３は、肉声音声波形データ２に対応して、発声内容とその時間情報を示す音素ラベル情報、パワー情報、音高情報、ピッチマーク情報、スペクトル情報その他の音声情報を付与したデータであり、これらをハードディスクの如き記憶媒体の記憶領域に格納したものである。
【００１１】
音声波形変更部４は、音声波形データベース構築装置１に与えられた変更量パラメータに基づいて、肉声音声波形データ２に格納される全ての肉声音声波形データに対して信号処理を施して対応する音高、長さに変更し、音高、長さに指定の変更量が加えられた変更済音声波形データ６を生成する。ここで用いられる信号処理方法としては、例えば、ＰＳＯＬＡ（Pitch Sincronous Ooverlap Add ）に代表される信号処理方法がある。変更済音声波形データ６は、ハードディスクの如き記憶媒体の記憶領域に格納される。
音声情報変更部５は、音声波形変更部４で変更された音声波形データの音高、長さに対応して、肉声音声情報３の情報を変更して、変更済音声情報７を生成する。例えば、音声波形データの音高が変わると、それに対応して、その音高情報、ピッチマーク情報、スペクトル情報を変更する。また、音声波形データの長さが変わると、それに対応して音素ラベルの時間情報、ピッチマーク情報を変更する。変更済音声情報７は、ハードディスクの如き記憶媒体の記憶領域に格納される。
【００１２】
音声波形データベース生成部8は、肉声音声波形データ２、肉声音声情報３、変更済音声波形データ６と、変更済音声情報７に格納されたデータに基づいて、音声波形データ９と音声情報インデックス１０からなる音声波形データベース１１を生成する。
音声波形データ9は、肉声音声波形データ２或いは変更済音声波形データ６の内容である音声波形を格納したもので、ハードディスクの如き記憶媒体の記憶領域に格納したものである。
音声情報インデックス１0は、肉声音声情報３或いは変更済音声情報７の内容をインデックスとして保持し、所望の音素情報、音高情報を検索キーとして、音声波形データ９から音声合成に必要な音声波形データを読み出せる構成としたものである。
【００１３】
ここで、処理動作を図２をも参照して説明する。図２は声波形データベース構築の処理動作を示すフローチャートである。
先ず、（S１）は、音声波形変更部４において、音声波形データベース構築装置１に与えられた変更量パラメータに基づいて、肉声音声波形データ２に格納される全ての肉声音声波形データに対して信号処理を施して音高、長さを変更する。この変更量は、音質劣化が生じない範囲である必要がある。この許容量は信号処理方法にも依存するので、一種類に規定しておくことはできず、信号処理方法に応じて実験値より決定すべきであるが、この実施例は、変更量パラメータは、音高を一律１０％上昇するように与えられたものとする。この場合、肉声音声波形データ２に格納された全ての肉声音声波形データに対して、その音高を一律に１０％上昇させた音声波形を信号処理により生成する。ここで用いられる信号処理方法としては、例えば、ＰＳＯＬＡに代表される方法がある。ＰＳＯＬＡのような信号処理時にピッチマーク情報が必要となる方式の場合は、肉声音声情報３に格納されたピッチマーク情報を読み出して利用する。変更された音声波形データは変更済音声波形データ６として、一時的に格納される。
【００１４】
続いて、（Ｓ２）は、音声情報変更部５において、音声波形変更部４で変更された音声波形データの音高、長さに対応して、肉声音声情報３の情報を変更する。この実施例の場合は、音高を１0％上昇させるために、音高情報を１０％上昇させたものに変更する。また、音高が変わるとピッチマーク位置も変わるので、変更後のピッチマーク位置に合わせて変更する。変更後のピッチマーク位置については、音声波形変更部４の信号処理時に用いたピッチマーク位置情報を流用すればよい。変更された音声情報データは変更済音声情報７として、一時的に格納される。
【００１５】
次に、（Ｓ３）は、音声波形データベース生成部８において、肉声音声波形データ２と変更済音声波形データ６と肉声音声情報３と変更済音声情報７とを用いて音声波形データベース１１を構築する。肉声音声情報３或いは変更済音声情報７の内容を音声情報インデックス１0として保持し、また、対応する音声波形データヘのポインタ情報を登録することにより、音声合成エンジンで音声波形データベース１１を使って音声合成を行うに際して、所望の音素情報、音高情報などで音声波形データ9を検索して、合成に必要な音声波形データを読み出せるように構成する。この実施例によれば、最終的に構築される音声波形データベース１１は、音声波形データについては、肉声音声波形データ２と、音高を１０％上昇させるという変更を加えた変更済音声データ６を含むので、音声波形データベースの規模は２倍となる。
【００１６】
上述した通りであり、この発明によれば、予め変更量パラメータに基づく信号処理を行っておくことにより、音声波形データベースの保持する音声波形のバリエーションが増加するので、音声波形データベース中に、合成したいテキストに対応した適切な音高或いは長さの音声波形が存在する可能性が高くなり、自然なイントネーションを持つ高品質な音声合成をすることができる。
そして、音声波形変更部で行う肉声音声波形に対する信号処理において、韻律の変更は音質劣化が生じない範囲内で行われているので、肉声音声波形に対して信号処理を施した音声波形を用いているにも関わらず、音質劣化のない高品質な音声合成をすることができる。
【００１７】
また、音声波形に対する信号処理をデータベース構築の段階で行うので、音質劣化が少ない半面計算量を要するような信号処理手法を用いることができ、合成音声生成処理に要する時問を増大させずに、音質劣化のない自然なイントネーションを持つ高品質な音声合成が可能となる効果がある。
なお、上述した実施例は、以下の如き態様で実施することができる。
例えば、変更量パラメータにおいて指定される変更量は１種類である必要はなく、例えば、音高変更量を５％上昇、１０％上昇、５％下降、１０％下降、の４種類指定し、変更済音声波形データ６および変更済音声情報７をそれぞれ変更量パラメータに応じて４種類生成し、これらを元にした音声波形データベース１１を構築してもよい。また、音高の変更、長さの変更を組み合わせて指定してもよい。これらの場合、或る音素列に対してより多くの音高バリエーション、音長バリエーションが存在するので、音声素片間の音高の繋がりがより滑らかになり、また、音素の継続時間の自然性が向上する可能性が高まるので、合成音声の品質はより向上する。また、この発明は、先のＰＳＯＬＡ以外の他の信号処理方法を使用しても実施することができる。
【図面の簡単な説明】
【００１８】
【図１】実施例を説明する図。
【図２】実施例の動作フローチャートを示す図。
【符号の説明】
【００１９】
１  音声波形データベース構築装置      ２  肉声音声波形データ
３  肉声音声情報                      ４  音声波形変更部
５  音声情報変更部                    ６  変更済音声波形データ
７  変更済音声情報                    8  音声波形データベース生成部
9  音声波形データ                    １０  音声情報インデックス
１１  音声波形データベース
【図１】
2006126556.tif 000003
【図２】
2006126556.tif 000004