(57)【要約】【課題】音声合成用音声データベースの作成のために用いる文セットを、合成音声を聴取し理解する点で影響を与える意味的に重要な単語などを確実に選択する。【解決手段】候補テキスト群、学習用テキスト群の各テキストを言語的階層の主語・述語、３連鎖形態素、２連鎖形態素、形態素についてその構成要素に分割し、音響的階層の３連鎖音節、２連鎖音節、音節、音素についてその構成要素に分割し、各候補テキストの各構成要素ごとに、それが全学習用テキストの同一階層における構成要素全体に占める割合を被覆率として求め、各候補テキストごとにその各階層ごとの構成要素の被覆率の総和を階層被覆率として求め、各候補テキストごとにその階層被覆率を荷重加算して重要度とし、候補テキストのデータ量の総和が所定値以下、かつ重要度の総和が最大である候補テキストの組合わせを選択する。【選択図】      図３
2004251953.tif 000002
【特許請求の範囲】
【請求項１】
選択テキストの候補となる多くの候補テキストがディジタルデータとして格納された候補テキストデータベースと、多くの学習用テキストがディジタルデータとして格納された、学習用テキストデータベースと、またはディジタルデータとして多くのテキストが格納された兼用テキストデータベースを用い、以下兼用データベース内の各テキストを選択テキスト候補として用いる場合は候補テキストと云い、学習用テキストとして用いる場合は学習用テキストと云う、
テキストデータベース中の各テキストについて、当該テキストに対する音声言語の音響的及び言語的な階層構造に基づいた分析により各階層毎に属する全ての構成要素を抽出して記憶部に記憶するテキスト構成要素抽出過程と、
各候補テキストの構成要素が全学習用テキストの同一階層における構成要素全体を被覆する割合を被覆率として求める処理を各構成要素について行って記憶部に記憶する被覆率計算過程と、
各候補テキストについて、その構成要素が属する階層毎に前記被覆率の総和を階層被覆率として求めて記憶部に記憶する階層被覆率計算過程と、
各候補テキストについて各階層毎の前記階層被覆率の重み付き線形和を重要度として求めて記憶部に記憶する重要度計算過程と、
全ての候補テキストから、候補テキストのデータ量の総和が予め決められた量以下かつ候補テキストの重要度の総和を最大となす、候補テキストの組み合わせをテキストデータベースから選択するテキスト選択過程と、
を有することを特徴とするテキスト選択方法。
【請求項２】
選択テキストの候補となる多くの候補テキストをディジタルデータとして記憶する候補テキストデータベースと、多くの学習用テキストをディジタルデータとして記憶する学習用テキストデータベースと、又は多くのテキストをディジタルデータとして記憶する兼用テキストデータベースとを用いて複数のテキストの組を選択する装置において、以下兼用テキストデータベース内の各テキストを選択テキスト候補として用いる場合は候補テキストと云い、学習用テキストとして用いる場合は学習用テキストと云う、
テキストデータベース中の各テキストが入力され、そのテキストについて、当該テキストに対する音声言語の音響的及び言語的な階層構造に基づいた分析により各階層毎に属する全ての構成要素を抽出するテキスト構成要素抽出手段と、
構成要素が決定されたテキストが入力され、各候補テキストの構成要素が全ての学習用テキストの同一階層における構成要素全体を被覆する割合を被覆率として求める被覆率計算手段と、
構成要素が決定された候補テキストが入力され、その各候補テキストについて、その構成要素が属する階層毎に前記被覆率の総和を階層被覆率として求める階層被覆率計算手段と、
構成要素が決定された候補テキストが入力され、その各候補テキストについて、その各階層毎の前記階層被覆率の重み付き線形和を重要度として求める重要度計算手段と、
全ての候補テキストから、候補テキストのデータ量の総和が予め決められた量以下かつ候補テキストの重要度の総和を最大となす、候補テキストの組み合わせを選択するテキスト選択手段と、
を備えることを特徴とするテキスト選択装置。
【請求項３】
請求項１記載のテキスト選択方法の各過程をコンピュータに実行させるためのテキスト選択プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば音声合成において必要となる音声データベースに格納する音声データを収録する際に、発声者が読み上げる元となる収録用テキストの選択に用いられ、多量のテキストが格納されたテキストデータベースからテキストの組を選択する方法および装置、プログラムに関するものである。
【０００２】
【従来の技術】
従来の音声合成技術において、近年では大容量な記憶装置の使用費用の低下と電子計算機の計算能力の向上に伴って、数十分から数時間に及ぶ音声データをそのまま大容量の記憶装置に蓄積しておき、入力されたテキスト及び韻律情報に応じて音声データから音声素片を適切に選択し、そのまま接続するか又は韻律情報に応じてそれらを変形して接続することで高品質な音声を合成する音声合成方法が提案されている（例えば特許２７６１５５２号公報）（Ｍ．Ｂｅｕｔｎａｇｅｌ，Ａ．Ｃｏｎｋｉｅ，Ｊ．Ｓｃｈｏｒｏｅｔｅｒ，  Ｙ．Ｓｔｙｌｉａｎｏｕ，  ａｎｄ  Ａ．ｓｙｄｒａｌ，“Ｃｈｏｓｅ  ｔｈｅ  ｂｅｓｔ  ｔｏ  ｍｏｄｉｆｙ  ｔｈｅ  ｌｅａｓｔ：  Ａ  ｎｅｗ  ｇｅｎｅｒａｔｉｏｎ  ｃｏｎｃａｔｅｎａｔｉｖｅ  ｓｙｎｔｈｅｓｉｓ  ｓｙｓｔｅｍ”，Ｐｒｏｃ．Ｅｕｒｏｓｐｅｅｃｈ’９９，１９９９，ｐｐ．２２９１−２２９４参照）。
【０００３】
しかしながら、いかに大容量の記憶装置に数十時間に及び音声データを蓄積することが可能になったとしても、音声合成の素となる音声データベースを作成するためには、音声を録音しかつその音声を音声素片として利用できるようにセグメンテーション作業を行うなどしてデータベースを構築する必要がある。
つまり、現実的には上記の作業に伴う時間的、費用的なコストから現実的に集めることが可能な音声の量は決まってくるため、高品質な合成音声を実現可能な音声データベースをいかに短期間・小コストで構築するかというのは大きな課題であった。
【０００４】
そのため、データベースを自動的に構築する上で重要なセグメンテーション作業を自動化するための技術が提案されてきており、音声データさえあれば、音声データベースを効率的に構築可能になってきている（例えば藤原紳悟、杉山雅英、“ＨＭＭとエキスパートシステムの手法を用いた音素ラベリングワークベンチ”、信学技報、ＳＰ９２−１３２，１９９３）。
また、音声データを集める方法としては、入力テキストを音声合成する際に使用すべき音声素片が収録されている確率が音響的に見て最大となるように音声データベースを設計する方法（Ｃｈｕ，Ｍ．，Ｙａｎｇ，Ｈ．ａｎｄ  Ｃｈａｎｇ，Ｅ．，“Ｓｅｌｅｃｔｉｎｇ  Ｎｏｎ−ｕｎｉｆｏｒｍ  Ｕｎｉｔｓ  Ｆｒｏｍ  ａ  Ｖｅｒｙ  Ｌａｒｇｅ  Ｃｏｒｐｕｓ  ｆｏｒ  Ｃｏｎｃａｔｅｎａｔｉｖｅ  Ｓｐｅｅｃｈ  Ｓｙｎｔｈｅｓｉｚｅｒ”，ＩＣＡＳＳＰ  ２００１，Ｖｏｌ．２，ＳＰＥＥＣＨ−Ｌ２．２，２００１．）や、合成処理による劣化を避けるため同一内容の発声を韻律的に多重化する方法（枡田他、“韻律的に多重なデータベースの設計と評価”、音響学会講演論文集、ｐｐ．２９１−２９２、２００１）などが提案されている。
【０００５】
一方、前記収録用テキストを作る方法として、確実に使用された言語表現を集積・整理した言語データを蓄積した文ユーパスに含まれる素片単位（例えば連鎖音韻）の出現回数表あるいは出現率を作成し、文ユーパス中の各文に含まれる単位の出現回数あるいは出現率の累計値を選択基準スコアとして、スコアの高い文を文ユーパスから逐次選択することにより、収録用テキストの集合を生成する方法が知られている（非特許文献１）。
【０００６】
【非特許文献１】
Ｊａｎ  Ｐ．Ｈ．  ｖａｎ  Ｓａｎｔｅｎ，“Ｄｉａｇｎｏｓｔｉｃ  ｐｅｒｃｅｐｔｕａｌ  ｅｘｐｅｒｉｍｅｎｔｓ  ｆｏｒ  ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ  ｓｙｓｔｅｍ  ｅｖａｌｎａｔｉｏｎ”，Ｐｒｏｃ．ＩＣＳＬＰ９２，ｐｐ５５５−５５８，１９９２．
【０００７】
【発明が解決しようとする課題】
前記非特許文献１に示す技術では、収録用テキストは３連鎖音韻のように短い素片単位を基準にして選択しており、つまり音響的な面からのみ収録用テキストを選択して前記言語的な面から重要である単語や単語連鎖に対する考慮が全くないため、音声を聴取し理解する点において、非常に影響を与える意味的に重要な単語や主語、述語等意味的なまとまりをもつ単語連鎖を収録できる保証が無い。
そのため、従来の手法により作成した収録用テキストに基づいて音声データを収集し、その音声データから構築した音声データベースを利用した音声合成において、スペクトルや韻律面という物理的な観点から見れば統計的な意味で平均的に高品質な合成音を実現可能とは言えるが、その場合言語的にあまり重要でない部分と、言語的な重要な部分のどちらにおいても合成音声が劣化する確率は同等であり、実際に合成音声によって、例えば会話を行う場合十分なコミュニケーションが達成可能かという点では問題があった。
【０００８】
この発明の目的は、言語的な尺度と音響的な尺度を同時に考慮した上で音声表現において重要と評価できるテキストの組みを選択するテキスト選択方法、テキスト選択装置、テキスト選択プログラムを提案するものである。
【０００９】
【課題を解決するための手段】
この発明による方法では、候補テキストデータベース中の候補テキスト及び学習用テキストデータベース中の学習用テキストあるいは兼用テキストデータベース中の候補テキストとしても学習用テキストとしても用いられるテキストのそれぞれについて、当該テキストに対する音声言語の音響的及び言語的な階層構造に基づいた分析により各階層毎に属する全ての構成要素を抽出するテキスト構成要素抽出過程で決定し、前記候補テキストの各構成要素が全学習用テキストのその同一階層における構成要素全体を被覆する割合を被覆率として被覆率計算過程で求め、各候補テキストについて構成要素が属する階層毎に前記被覆率の総和を階層被覆率として階層被覆率計算過程で求め、各候補テキストについて各階層毎の前記階層被覆率の重み付き線形和を重要度として重要度計算過程で求め、全ての候補テキストから、候補テキストのデータ量の総和が予め決められた量以下かつ候補テキストの重要度の総和を最大となす、候補テキストの組み合わせをテキスト選択過程で選択する。
【００１０】
この発明ではテキスト選択装置では、候補テキストデータベース中の候補テキスト及び学習用テキストデータベース中の学習用テキスト、あるいはテキストデータベース中の、候補テキストと学習用テキストを兼ねるテキストについて、当該テキストに対する音声言語の音響的及び言語的な階層構造に基づいた分析により各階層毎に属する全ての構成要素を抽出するテキスト構成要素抽出手段と、各候補テキストの構成要素が全ての学習用テキストの同一階層における構成要素全体を被覆する割合を被覆率として求める被覆率計算手段と、各候補テキストについて構成要素が属する階層毎に前記被覆率の総和を階層被覆率として求める階層被覆率計算手段と、各候補テキストについて各階層毎の前記階層被覆率の重み付き線形和を重要度として求める重要度計算手段と、全ての候補テキストから、候補テキストのデータ量の総和が予め決められた量以下かつ候補テキストの重要度の総和を最大となす、候補テキストの組み合わせを選択するテキスト選択手段とを備える。
【００１１】
【発明の実施の形態】
以下この発明の実施の形態を述べる。
図１にこの発明によるテキスト選択装置の実施形態の機能構成例を示す。磁気ディスク、光磁気ディスクなどの記憶装置よりなる候補テキストデータベース１１には例えば大量の日本語テキストがディジタルデータとして格納されている。磁気ディスクや光磁気ディスクなどの記憶装置よりなる学習用テキストデータベース１２にも例えば大量の日本語テキストがディジタルデータとして格納されている。ここで例えば候補テキストデータベース１１には例えば読み上げ原稿としてのテキストや音声合成の用途として想定されているタスクに関係するテキスト等音声出力の必要が高そうなテキスト、つまり選択テキストの候補となる候補テキストが格納されている。学習用テキストデータベース１２にはあらゆる種類の大量のテキストが格納されている。大量のテキストが格納された１つの兼用テキストデータベース１３を用い、それに格納されている各テキストを候補テキストとして、また学習用テキストとして用いてもよい。
【００１２】
図２にこの発明方法の実施形態の流れ図を示す。
テキスト構成要素抽出部１４において、データベース１１及び１２中の各テキストについて、音声言語の音響的及び言語的な階層構造に基づいた分析により各階層に属する全ての構成要素を抽出する。例えばステップＳ１で候補データベース１１内また学習用データベース１２内の各テキストに対して、形態素解析及び読み付与を行い、形態素（単語）境界の決定、形態素（単語）の品詞の付与、形態素（単語）の読みの決定を形態素解析・読み付与部１５により行う。次に、ステップＳ２で音韻系列変換部１６により前記形態素の読みに対応する音韻系列に各テキストについて変換する。
【００１３】
さらにステップＳ３において、構成要素決定部１７により当該テキストに含まれる音響的及び言語的な階層の各階層に属する構成要素を決定し、記憶部に記憶する。音響的及び言語的階層構造の例と、１つのテキストを各階層ごとに構成要素に分割した例とを図３に示す。これは言語的階層として主語・述語、３連鎖形態素、２連鎖形態素、形態素の４層とし、音響的階層として３連鎖音節、２連鎖音節、音節、音素の４階層とした場合である。
このように構成要素が決定された各テキストの音韻系列は例えば図４に示すように、各形態素の境界に境界記号「／」が挿入され、また主語と述語との境界に境界記号「，」が挿入される。このように構成要素が決定された各候補テキストの音韻系列は候補テキスト音韻系列記憶装置１８に記憶され、構成要素が決定された学習用テキスト音韻系列は学習用テキスト音韻系列記憶装置１９に記憶される。
【００１４】
次に、被覆率計算部２１において、ステップＳ４で候補用テキストデータベース１１に含まれる各候補テキストに対し、前記抽出された当該候補テキストに含まれる全ての構成要素の学習用データベース１２に含まれる学習用テキストの同一階層における構成要素の全体に対する被覆率（カバー率）を記憶装置１８の音韻系列、記憶装置１９内の音韻系列を用いて求めて記憶部２２に記憶する。ここである構成要素の被覆率（カバー率）とは、当該構成要素と同一の階層において、当該構成要素が学習用データベースに含まれる全ての構成要素全体に占める割合を示す。例えば図３に示したテキストの階層構造において、学習用データベース１２中の全学習用テキストにおける各音素の頻度（出現回数）が例えば図５に示す状態の場合、図３に示すテキストの音素階層での最初の構成要素である音素／Ｋ／は、図５に示した頻度分布表における頻度順が３番目となり、その頻度が１０１６２８７８であり、全学習用テキストにおける全音素の出現総数が３９８７２１２６４３９であるから、このとき被覆率は頻度／出現総数で求める。つまり被覆率＝１０１６２８７８／３９８７２１２６４３９≒０．０００２５４８９となる。
【００１５】
この被覆率の計算、記憶は各候補テキストの各階層の各構成要素について行う。被覆率計算部２１には学習用テキストの音韻系列の全てを用いて、その各階層ごとの各構成要素の出現回数（頻度）を計数する頻度計数部２１ａが設けられ、各階層ごとの図５に示したような頻度分布表を記憶する記憶部２１ｂが設けられる。被覆率記憶部２２には各候補テキストごとに、例えば図６に１つの候補テキストについて示すように、各階層の各構成要素ごとに被覆率が記憶される。図６中では１つのテキストの形態素階層における各構成要素の被覆率の具体例しか示していないが、他の階層における各構成要素の被覆率も同様に記憶される。
【００１６】
次に階層被覆率計算部２３において、ステップＳ５で各候補テキストについて各階層毎に当該テキストに含まれる構成要素の被覆率の総和を求めて記憶部２４に記憶する。つまりある候補テキストＩの階層ＪにおいてＮＩＪ個の構成要素があり、構成要素Ｅの被覆率をｃＩＪＥとすると階層被覆率ＣＩＪは
ＣＩＪ＝ΣｃＩＪＥ
ΣはＥ＝１からＮＩＪまでの総和
として求める。例えば、図３に示したテキストの形態素階層における階層被覆率は、その各構成要素である各形態素の被覆率が例えば図６中に示した場合にはその総和は７．２５×１０−５＋２．８３×１０−４＋５．８４×１０−６＋１．４３×１０−５＋６．９３×１０−４≒１．０７×１０−３となる。この総和１．０７×１０−３が階層被覆率記憶部２４におけるその候補テキストの形態素階層の階層被覆率格納部に記憶される。つまり階層被覆率記憶部２４には各候補テキストごとに例えば図７に示すように各階層ごとの階層被覆率が記憶される。
【００１７】
次に重要度計算部２５において、ステップＳ６で各候補テキストごとにその階層被覆率の重み付き和を求めて重要度記憶部２６に記憶する。つまりテキストＩの重要度ＳＩは
ＳＩ＝ΣＬＪ＝１ＷＪ・ＣＩＪ
Ｌは階層数、ＷＪは階層Ｊの重み係数
として求める。例えば図３に示した候補テキストとその階層構造において、図７に示した階層被覆率が得られ、重み係数ＷＪを全て１とした場合、この候補テキストの重要度は６．５９×１０−６＋９．８７×１０−５＋４．５４×１０−４＋１．０７×１０−３＋３．２４×１０−５＋８．３２×１０−４＋５．３２×１０−３＋８．９７×１０−２≒９．７３×１０−２となる。重要度記憶部２６には各候補テキストごとの重要度が記憶される。なお階層被覆率記憶部２４は１つの候補テキストについてその各階層の階層被覆率を計算すると、その候補テキストの重要度を計算するようにすれば、各候補テキストごとに階層被覆率を階層被覆率記憶部２４に記憶しておかなくてもよい。
【００１８】
次にテキスト選択部２７において候補テキストデータベース１１に含まれる全ての候補テキストから、候補テキストのデータ量の総和が予め決められた量以下かつ候補テキストの重要度の総和を最大となす、候補テキストの組み合わせを選択して出力する。図２に示すようにステップＳ７で候補テキストの重要度の総和が最大となるように、候補テキストデータベース１２から候補テキストの組み合わせを選択する。
次に、ステップＳ８で候補テキストの組み合わせの総データ量（例えば総音節の数）が予め決められた値以下であるかを調べ、以下である場合は、その候補テキストの組み合わせを、例えば音声収録用テキストとして出力する。総データ量が予め決められた値より大きい場合は、再度ステップＳ７において前記候補テキストの重要度の総和が次に大きい候補テキストの組み合わせを選択し、候補テキストの総データ量が予め決められた値以下になるまで繰り返す。
【００１９】
テキスト選択部２７には候補テキストの重要度の総和を求める重要度和計算部２７ａと、候補テキストの総データ量を求めるデータ量計算部２７ｂが設けられる。更に好ましくは各候補テキストの重要度の総和を求める際に、各候補テキストに重複して含まれるテキスト構成要素に対しては被覆率を重複して計算しないように重複するテキスト構成要素は１つだけ被覆計算部２１で求めた値を残し、他の重複しているものに対しては被覆率を０として階層被覆率及び重要度を再計算する。このような再計算により重要度の総和を最大とし、かつ、データ量の総和を予め決められた量以下にする候補テキストとの組み合わせを選択するアルゴリズムとしては動的計画法を用いればよい。この方法によらず、例えば最高重要度の候補テキストを選択し、その選択した候補テキストに含まれるテキスト構成要素の被覆率を０として再び階層被覆率、重要度を計算し、その最高重要度の候補テキストを選択し、以下同様のことを、選択した候補データの総データ量が予め決めた値を超える直前まで繰り返すグリーディアルゴリズムを用いてもよい。
【００２０】
前記総データ量の予め決められた値は、例えば音声合成用の音声データベースを作成に用いる読み上げ用の文セットの選択の場合はその読み上げ時間など主として音声データベースの作成上の制約から決まる。またその場合、音声データベースをなるべく効率的に作ることができ、かつなるべく高品質な合成音声が得られるようにする点から、重複するテキスト構成要素はなるべく避け、できるだけ多種のテキスト構成要素を含むようにすることが望ましい。
図１中の制御部２８は各部を順次動作させ、またデータベースから読み出し、各記憶部に対する読み書きなどを行う。重要度を計算する場合の重み係数ＷＪは、選択した候補テキストをタスクに依存した用途向けにする場合は、言語的階層構造の階層被覆率に対するものを音響的階層構造の階層被覆率に対するものより大とし、タスクに依存しない用途向けにする場合は、音響的階層構造の階層被覆率に対するものの方を大きくすればよい。設定部２９で重み係数を設定できるようにするとよい。
【００２１】
候補テキストデータベース１１中の候補テキストとしては、予め音声言語の音響的及び言語的（意味的）な階層構造に基づく人手による分析または機械分析後の人手修正によって各階層に属する全てのテキスト構成要素が正確に抽出された音韻系列を有する、つまりその音韻系列が記憶装置に、候補テキストデータベース１１中の候補テキストと対応して利用できように格納されているものを用いてもよい。学習用テキストは多量であることが好ましいから、前述したような処理により階層構造に基づく階層ごとの構成要素を求める方が現実的である。
兼用データベース１３を用いる場合は、これに格納されている各テキストを候補テキストとし、かつ学習用テキストとして上述したことを実行すればよい。言語的階層の数、音響的階層の数は上記例に限らず、何れも少くとも１つあればよい。上述において各構成要素を単に音韻系列から抽出したが、構成要素に音の高さや長さ、アクセント型等を考慮して構成要素を抽出するようにすれば、高品質の音声を合成するのに適する音声データベース構成用の読み上げのためのテキストの組合せを選択することができる。この場合は図２中に破線で示すように、各テキストに対し、アクセント付与処理（Ｓ１０）、韻律生成処理（Ｓ１１）を行い、これらの処理結果を考慮して、構成要素の抽出（決定）をステップＳ３で行えばよい。図１に示したテキスト選択装置をコンピュータに実行させてもよい。この場合は例えば図２に示した各過程をコンピュータに実行させるためのテキスト選択プログラムを、ＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体から、または通信回線を介してコンピュータにダウンロードして、そのプログラムを実行させればよい。この発明は日本語テキストの選択のみならず、他の言語のテキストの選択にも適用できる。
【００２２】
【発明の効果】
以上述べたようにこの発明によれば音響的尺度のみならず言語的尺度も同時に考慮して音声表現において重要と評価できるテキストの組み合わせを選択することができる。また用途に応じてそのタスクに適するものを選択することもでき、かつ音響的尺度も利用しているため、例えば高品質な合成音声が得られる音声データベースの作成に用いることができ、その音声データベースの作成も効率的に行うことが可能となる。
【図面の簡単な説明】
【図１】この発明装置の機能構成例を示す図。
【図２】この発明方法の実施形態を示す流れ図。
【図３】言語的及び音響的階層構造とその各構成要素の例を示す図。
【図４】音韻系列の例を示す図。
【図５】頻度分布表の例を示す図。
【図６】１つの候補テキストの各構成要素の被覆率の記憶部への格納状態の例を示す図。
【図７】１つの候補テキストの階層被覆率の記憶部への格納状態の例を示す図。
【図１】
2004251953.tif 000003
【図２】
2004251953.tif 000004
【図３】
2004251953.tif 000005
【図４】
2004251953.tif 000006
【図５】
2004251953.tif 000007
【図６】
2004251953.tif 000008
【図７】
2004251953.tif 000009