(57)【特許請求の範囲】
【請求項１】
入力されたテキストデータを形態素解析して、アクセント付き音素に変換するテキストデータ解析手段と、
前記テキストデータ解析手段で変換されたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素でクラスタリングする音素クラスタリング手段と、
前記音素クラスタリング手段でクラスタリングされたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素のアクセントでクラスタリングする音素アクセントクラスタリング手段と、
前記アクセント付き音素の前後に配置された音素および該音素のアクセントでクラスタリングされたアクセント付き音素に対応する音声データを記憶する音声データベースと、
前記音素アクセントクラスタリング手段でクラスタリングされたアクセント付き音素に対応する音声データを組み合わせることによって生成される音声データ列の連結スコアをビタービサーチによって計算し、前記連結スコアが最大となる音声データ列を前記音声データベースから探索する音声データ探索手段と、
前記音声データ探索手段で探索された音声データ列を連結する音声データ連結手段と、
を備えることを特徴とする音声合成装置。
【請求項２】
入力されたテキストデータを形態素解析して、アクセント付き音素に変換するテキストデータ解析手段と、
前記テキストデータ解析手段で変換されたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素でクラスタリングする音素クラスタリング手段と、
前記音素クラスタリング手段でクラスタリングされたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素のアクセントでクラスタリングする音素アクセントクラスタリング手段と、
前記アクセント付き音素の前後に配置された音素および該音素のアクセントでクラスタリングされたアクセント付き音素の列を記憶する音素列記憶手段と、
前記音素列記憶手段に記憶されたアクセント付き音素に対応する音声データを記憶する音声データベースと、
前記音素アクセントクラスタリング手段でクラスタリングされた音素に変換された前記テキストデータを、前記音素列記憶手段に記憶されたアクセント付き音素の列に分割する音素列分割手段と、
前記音素列分割手段で分割された前記アクセント付き音素の列に対応する音声データを組み合わせることによって生成される音声データ列の連結スコアをビタービサーチによって計算し、前記連結スコアが最大となる音声データ列を前記音声データベースから探索する音声データ探索手段と、
前記音声データ探索手段で探索された音声データ列を連結する音声データ連結手段と、
を備えることを特徴とする音声合成装置。
【請求項３】
テキストデータに対応する音声を合成するために、コンピュータを、
入力されたテキストデータを形態素解析して、アクセント付き音素を出力するテキストデータ解析手段、
前記テキストデータ解析手段で変換されたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素でクラスタリングする音素クラスタリング手段、
前記音素クラスタリング手段でクラスタリングされたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素のアクセントでクラスタリングする音素アクセントクラスタリング手段、
前記音素アクセントクラスタリング手段でクラスタリングされたアクセント付き音素に対応する音声データを組み合わせることによって生成される音声データ列の連結スコアをビタービサーチによって計算し、前記連結スコアが最大となる音声データ列を探索する音声データ探索手段、
前記音声データ探索手段で探索された音声データ列を連結する音声データ連結手段、
として機能させることを特徴とする音声合成プログラム。
【請求項４】
テキストデータに対応する音声を合成するために、コンピュータを、
入力されたテキストデータを形態素解析して、アクセント付き音素に変換するテキストデータ解析手段、
前記テキストデータ解析手段で変換されたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素でクラスタリングする音素クラスタリング手段、
前記音素クラスタリング手段でクラスタリングされたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素のアクセントでクラスタリングする音素アクセントクラスタリング手段、
前記音素アクセントクラスタリング手段でクラスタリングされた音素に変換された前記テキストデータをアクセント付き音素の列に分割する音素列分割手段、
前記音素列分割手段で分割された前記アクセント付き音素の列に対応する音声データを組み合わせることによって生成される音声データ列の連結スコアをビタービサーチによって計算し、前記連結スコアが最大となる音声データ列を探索する音声データ探索手段、
前記音声データ探索手段で探索された音声データ列を連結する音声データ連結手段、
として機能させることを特徴とする音声合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、アクセント付き音素を用いて音声合成を行う音声合成装置および音声合成プログラムに関する。
【背景技術】
【０００２】
従来、入力されたテキストデータに基づいて音声合成データを出力する音声合成装置が知られている（例えば、特許文献１参照）。特許文献１に開示されている音声合成装置には、音素とこの音素の発話時間が記録された音声データベースが備えられており、この音声合成装置は、入力されたテキストデータを音素に分解した後、分解した音素について音素を探索単位として音声データベースを探索し、連結コストおよび音韻韻律コストの和が最小になる探索結果を音声合成データとして出力するものである。
【０００３】
また、従来、音声認識において、当該音素の前後に配置された音素（前後の音素環境）を考慮した音素（トライフォン）としてクラスタリングする方法が知られている（例えば、非特許文献１参照）。
【特許文献１】特開平１０−４９１９３号公報（段落００１４〜００１８、図１）
【非特許文献１】S. J. Young, J. J. Odell, and P. C. Woodland,“Tree- based state tying for high accuracy acoustics modeling”, Proc. of ARPA Human Language Technology Workshop, 1994, vol.1, p.307-312
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に開示されたクラスタリング方法は、前後の音素環境、すなわち、スペクトル包絡の特徴のみを考慮するクラスタリングであるため、基本周波数の変化に起因するアクセントの影響が無視されている。そのため、このクラスタリング方法を用いた音声合成装置では、合成される合成音声（音声合成データ）が不自然な感じになる（前後の音素の接続が不自然になる）、つまり合成音声（音声合成データ）の自然性が劣化してしまうという問題がある。
【０００５】
本発明は、以上のような問題点に鑑みてなされたものであり、合成音声（音声合成データ）が不自然に聞こえてしまう自然性の劣化を防止することができる音声合成装置および音声合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、本発明の請求項１に記載の音声合成装置は、テキストデータ解析手段と、音素クラスタリング手段と、音素アクセントクラスタリング手段と、音声データベースと、音声データ探索手段と、音声データ連結手段とを備えることとした。
【０００７】
かかる構成によれば、音声合成装置は、テキストデータ解析手段によって、入力されたテキストデータを形態素解析して、アクセント付き音素に変換する。ここで、形態素とは、これ以上に細かくすると意味がなくなってしまう最小の文字列をいい、形態素解析とは、文章を形態素のレベルまで分解して解析することである。また、アクセントには、音の高低、強弱、長短、リズムのうちの少なくとも１つを含む。そして、音声合成装置は、音素クラスタリング手段によって、前記テキストデータ解析手段で変換されたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素でクラスタリングし、音素アクセントクラスタリング手段によって、前記音素クラスタリング手段でクラスタリングされたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素のアクセントでクラスタリングする。ここで、クラスタリングとは、所定のクラスタ（グループ）に分類すべき音素の集合を何らかの属性に注目して分類することを指すものである。また、アクセント付き音素の前後に配置された音素のアクセントでクラスタリングする方法は、前後の音の高低、強弱、長短、リズムのうちの少なくとも１つを用いるものである。
【０００８】
そして、音声合成装置は、音声データ探索手段によって、前記音素アクセントクラスタリング手段でクラスタリングされたアクセント付き音素に対応する音声データを組み合わせることによって生成される音声データ列の連結スコアをビタービサーチによって計算し、前記連結スコアが最大となる音声データ列を音声データベースから探索する。この音声データベースは、前記アクセント付き音素の前後に配置された音素および該音素のアクセントでクラスタリングされたアクセント付き音素に対応する音声データを記憶するものである。ここで、ビタービサーチとは、最良（最大）のスコアを与える仮説（アクセント付き音素に対応する音声データの組み合わせ）の履歴のみを残していく手法である。そして、音声合成装置は、音声データ連結手段によって、前記音声データ探索手段で探索された音声データ列を連結する。この音声データ列の連結により、音声合成データが生成され、音声合成装置から出力される。
【０００９】
また、請求項２に記載の音声合成装置は、テキストデータ解析手段と、音素クラスタリング手段と、音素アクセントクラスタリング手段と、音素列記憶手段と、音声データベースと、音素列分割手段と、音声データ探索手段と、音声データ連結手段とを備えることとした。
【００１０】
かかる構成によれば、音声合成装置は、テキストデータ解析手段によって、入力されたテキストデータを形態素解析して、アクセント付き音素に変換する。そして、音声合成装置は、音素クラスタリング手段によって、前記テキストデータ解析手段で変換されたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素でクラスタリングし、音素アクセントクラスタリング手段によって、前記音素クラスタリング手段でクラスタリングされたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素のアクセントでクラスタリングする。この音声合成装置は、予め音素列記憶手段に、前記アクセント付き音素の前後に配置された音素および該音素のアクセントでクラスタリングされたアクセント付き音素の列を記憶し、この音素列記憶手段に記憶されたアクセント付き音素の列に対応する音声データを、音声データベースに記憶している。そして、音声合成装置は、音素列分割手段によって、前記音素アクセントクラスタリング手段でクラスタリングされた音素に変換された前記テキストデータを、前記音素列記憶手段に記憶されたアクセント付き音素の列に分割する。したがって、入力テキストデータは、予め登録されている複数の音素列に分割される。
【００１１】
そして、音声合成装置は、音声データ探索手段によって、前記音素列分割手段で分割された前記アクセント付き音素の列に対応する音声データを組み合わせることによって生成される音声データ列の連結スコアをビタービサーチによって計算し、前記連結スコアが最大となる音声データ列を前記音声データベースから探索する。そして、音声合成装置は、音声データ連結手段によって、前記音声データ探索手段で探索された音声データ列を連結する。この音声データ列の連結により、音声合成データが生成され、音声合成装置から出力される。
【００１２】
また、請求項３に記載の音声合成プログラムは、テキストデータに対応する音声を合成するために、コンピュータを、テキストデータ解析手段、音素クラスタリング手段、音素アクセントクラスタリング手段、音声データ探索手段と、音声データ連結手段として機能させることを特徴とする。
【００１３】
かかる構成によれば、音声合成プログラムは、テキストデータ解析手段によって、入力されたテキストデータを形態素解析して、アクセント付き音素に変換する。そして、音声合成プログラムは、音素クラスタリング手段によって、前記テキストデータ解析手段で変換されたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素でクラスタリングし、音素アクセントクラスタリング手段によって、前記音素クラスタリング手段でクラスタリングされたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素のアクセントでクラスタリングする。そして、音声合成プログラムは、音声データ探索手段によって、前記音素アクセントクラスタリング手段でクラスタリングされたアクセント付き音素に対応する音声データを組み合わせることによって生成される音声データ列の連結スコアをビタービサーチによって計算し、前記連結スコアが最大となる音声データ列を探索する。そして、音声合成プログラムは、音声データ連結手段によって、前記音声データ探索手段で探索された音声データ列を連結する。
【００１４】
また、請求項４に記載の音声合成プログラムは、テキストデータに対応する音声を合成するために、コンピュータを、テキストデータ解析手段、音素クラスタリング手段、音素アクセントクラスタリング手段、音素列分割手段、音声データ探索手段、音声データ連結手段として機能させることを特徴とする。
【００１５】
かかる構成によれば、音声合成プログラムは、テキストデータ解析手段によって、入力されたテキストデータを形態素解析して、アクセント付き音素に変換する。そして、音声合成プログラムは、音素クラスタリング手段によって、前記テキストデータ解析手段で変換されたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素でクラスタリングし、音素アクセントクラスタリング手段によって、前記音素クラスタリング手段でクラスタリングされたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素のアクセントでクラスタリングする。そして、音声合成プログラムは、音素列分割手段によって、前記音素アクセントクラスタリング手段でクラスタリングされた音素に変換された前記テキストデータをアクセント付き音素の列に分割する。そして、音声合成プログラムは、音声データ探索手段によって、前記音素列分割手段で分割された前記アクセント付き音素の列に対応する音声データを組み合わせることによって生成される音声データ列の連結スコアをビタービサーチによって計算し、前記連結スコアが最大となる音声データ列を探索する。そして、音声合成プログラムは、音声データ連結手段によって、前記音声データ探索手段で探索された音声データ列を連結する。
【発明の効果】
【００１６】
請求項１または請求項３に記載の発明によれば、アクセント付き音素について、前後の音素環境に加えて前後のアクセント環境を考慮しているので、アクセントの正しい合成音声を作成することが可能になる。その結果、合成音声が不自然に聞こえてしまう自然性の劣化を防止することができる。
【００１７】
請求項２または請求項４に記載の発明によれば、入力されたテキストデータを予め登録されているアクセント付き音素の列に分割し、この音素列を、音声データベースを探索する探索単位として使用するため、探索する際に前後の音素環境が異なる音素を探索することを防止し、音声合成処理に要する時間を短縮できる。その結果、合成した音声合成データの音質の低下を防止することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について図面を参照して説明する。
（第１の実施形態）
［音声合成装置の構成］
図１は、第１の実施形態に係る音声合成装置の構成を示す機能ブロック図である。音声合成装置１は、入力されたテキストデータに基づいて、出力すべき音声を音声データ列によって合成するものであり、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、ＨＤＤ（Hard Disk Drive）と、入出力インターフェース等（図示を省略）とを備え、ＣＰＵがＨＤＤ等に格納されたプログラムをＲＡＭに展開することにより後記する各種機能を実現するものである。この音声合成装置１は、図１に示すように、入力手段２と、記憶手段３と、音声合成制御手段４とを備えている。
【００１９】
入力手段２は、テキストデータを音声合成制御手段４に入力するものであり、例えば、キーボードやマウス等から構成される。この入力手段２は、テキストデータをインターネットなどの通信回路網（図示を省略）を介して受信する通信インターフェース等から構成されるようにしてもよい。
記憶手段３は、発音単語記憶手段３１と、接続確率記憶手段３２と、音声データベース３３と、メモリ３４とを備えている。
【００２０】
発音単語記憶手段３１は、アクセント付き音素を単語別に記憶したものであって、ＨＤＤ等の一般的な記録媒体である。
接続確率記憶手段３２は、単語の接続確率を記憶したものであって、ＨＤＤ等の一般的な記録媒体である。
音声データベース３３は、単位音声（音声データ）を記憶したものであって、ＨＤＤ等の一般的な記録媒体である。音声データベース３３に記憶されている単位音声は、全ての母音にアクセントの高低が付与されている音素を基盤としている。この音素は、アクセント付き音素の前後に配置された音素および該音素のアクセントでクラスタリングされたアクセント付き音素であり、複数のクラスタに分類されている。ここで、アクセントには、音の高低、強弱、長短、リズムのうちの少なくとも１つを含む。そして、例えば、これらの複数のアクセント付き音素の集合からなる「文章」がデータベースの構成単位となっている。なお、各文章に「文番号」を付与したり、各文章の発話時刻（発話開始時刻および発話終了時刻；発話時間）を記録したりするようにしてもよい。
メモリ３４は、半導体メモリや磁気メモリなどの書き換え可能な記憶手段であり、音声合成制御手段４による処理等に利用される。
【００２１】
音声合成制御手段４は、アクセント付き音素について、前後の音素環境および前後のアクセント環境を考慮して、音声データを合成するものであり、図１に示すように、テキストデータ解析手段４１と、音素クラスタリング手段４２と、音素アクセントクラスタリング手段４３と、音声データ探索手段４４と、音声データ補正手段４５と、音声データ連結手段４６とを備えている。
【００２２】
テキストデータ解析手段４１は、記憶手段３に格納された図示しない辞書データを参照して、入力されたテキストデータを形態素解析して、アクセント付き音素に変換して音素クラスタリング手段４２に出力するものである。ここで、形態素とは、これ以上に細かくすると意味がなくなってしまう最小の文字列をいい、形態素解析とは、文章を形態素のレベルまで分解して解析することである。例えば、日本語の「今日の天気は晴れです」という文章は、「今日・の・天気・は・晴れ・です」等のように区切ることができる。本実施形態では、テキストデータ解析手段４１は、発音単語記憶手段３１および接続確率記憶手段３２を参照して、アクセント付き音素に変換する。なお、テキストデータ解析手段４１は、「単語」ではなく、「品詞」の接続確率を用いるようにしてもよい。また、テキストデータ解析手段４１は、「接続確率」の代わりに、「単語の接続に関して予め定められた発音規則」に基づいてアクセント付き音素に変換するようにしてもよい。
【００２３】
音素クラスタリング手段４２は、テキストデータ解析手段４１で変換されたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素でクラスタリング（分類）し、音素アクセントクラスタリング手段４３に出力するものである。この音素クラスタリング手段４２は、例えば、非特許文献１に記載された公知の方法でクラスタリングする。ここで、クラスタリングとは、所定のクラスタ（グループ）に分類すべき音素の集合を何らかの属性に注目して分類することを指すものである。つまり、音素クラスタリング手段４２で注目されている属性は、当該アクセント付き音素の前後に配置された音素の種類（前後の音素環境）である。
【００２４】
音素アクセントクラスタリング手段４３は、音素クラスタリング手段４２でクラスタリングされたアクセント付き音素を、当該アクセント付き音素の前後に配置された音素のアクセントでクラスタリングするものである。すなわち、音素アクセントクラスタリング手段４３は、当該アクセント付き音素の前後に配置された音素のアクセント（前後のアクセント環境）という属性に注目してクラスタリングする。音素アクセントクラスタリング手段４３は、前後のアクセント環境として、前後の音の高低を用いている。
【００２５】
具体的には、音素アクセントクラスタリング手段４３は、例えば、着目する音素（中心音素）が日本語の母音（当該母音）の場合であれば、前後の母音のアクセントが高い場合（高）と、低い場合（低）があるので、以下の７種類（クラスタ“１”〜クラスタ“７”）に分類している。なお、高低は、基本周波数が所定値よりも高いか低いかを示している。
【００２６】
（クラスタ“１”）＝（低、低、低）または（高、高、高）
（クラスタ“２”）＝（低、低、高）
（クラスタ“３”）＝（低、高、低）
（クラスタ“４”）＝（低、高、高）
（クラスタ“５”）＝（高、低、低）
（クラスタ“６”）＝（高、低、高）
（クラスタ“７”）＝（高、高、低）
ここで、例えば、クラスタ“３”である（低、高、低）は、前の母音のアクセントが低く、当該母音（中心音素）のアクセントが高く、後ろの母音のアクセントが低い音素からなるクラスタを意味している。
【００２７】
なお、当該母音のアクセントが「低」で、前の母音が無い場合には、前の母音のアクセントを「低」とみなし、クラスタ“１”またはクラスタ“２”に分類することとする。また、当該母音のアクセントが「低」で、後ろの母音が無い場合に、後ろの母音のアクセントを「低」とみなし、クラスタ“１”またはクラスタ“５”に分類することとする。
同様に、当該母音のアクセントが「高」で、前の母音が無い場合には、前の母音のアクセントを「高」とみなし、クラスタ“１”またはクラスタ“７”に分類することとする。また、当該母音のアクセントが「高」で、後ろの母音が無い場合に、後ろの母音のアクセントを「高」とみなし、クラスタ“１”またはクラスタ“４”に分類することとする。
【００２８】
また、音素アクセントクラスタリング手段４３は、例えば、着目する音素（中心音素）が日本語の子音の場合であれば、クラスタを（前の母音のアクセントの高低、後ろの母音のアクセントの高低）で示す場合、以下の３種類（クラスタ“８”〜クラスタ“１０”）に分類する。なお、前または後の母音が無い場合には、クラスタ“８”に分類することとする。
（クラスタ“８”）＝（低、低）または（高、高）
（クラスタ“９”）＝（低、高）
（クラスタ“１０”）＝（高、低）
【００２９】
音声データ探索手段４４は、音素アクセントクラスタリング手段４３でクラスタリングされたアクセント付き音素に対応する音声データを組み合わせることによって生成される音声データ列の連結スコアをビタービサーチによって計算し、連結スコアが最大となる音声データ列を音声データベース３３から探索し、音声データ補正手段４５に出力するものである。この音声データ探索手段４４は、音素を探索単位とする。なお、ビタービサーチとは、最良（最大）のスコアを与える仮説（アクセント付き音素に対応する音声データの組み合わせ）の履歴のみを残していく手法のことである。
【００３０】
ここで、この連結スコアの算出の仕方について説明する。２つのアクセント付き音素を、それぞれ、音素Ａ、音素Ｂとして、音素Ａの後ろに音素Ｂを接続する場合を想定する。この場合の連結スコアＳc（Ａ，Ｂ）は、例えば、次に示す数式（１）によって求めることができる。
【００３１】
【数１】
0004580317.tif 000002
【００３２】
この数式（１）において、ｐEAは音素Ａの終わり（終端）の基本周波数を表しており、ｐIBは音素Ｂの始め（先端）の基本周波数を表しており、ｃEjAはｊ次元目における音素Ａの終わり（終端）の特徴量を表しており、ｃIjBはｊ次元目における音素Ｂの始め（先端）の特徴量を表している。
【００３３】
また、この数式（１）において、（ａ）および（ｂ）はｊ次元目における音素Ａの終わりのトライフォン（音素Ａがトライフォンであればそのトライフォン）が含まれるクラスタＴEA、ＴIBの隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）の分散値を表しており、（ｃ）および（ｄ）はｊ次元目における音素Ａの終わりのトライフォンが含まれるクラスタｃ（Ａ）のＨＭＭの平均値を表しており、ｄは特徴量の総次元数を表しており、ω7、ω8は正の重みを表しており、ａは正の定数を表している。なお、δABは音素Ａと音素Ｂとが連続して音声データベース３３内にある場合を０、無い場合を１をとしている。
【００３４】
音声データ補正手段４５は、音声データ探索手段４４で探索された音声データ列を、当該音声データ列の前後の音声データ列で補正するものである。具体的には、音声データ補正手段４５は、音声データ探索手段４４で探索された音声データ列の基本周波数を平均化して、その平均値と個々の音声データとのずれを補正した音声データ列を音声データ連結手段４６に出力する。なお、この補正に関しては、特開平２−４７７００号公報に記載されている方法を適用することとする。この音声データ補正手段４５は、必須の構成ではなく、音声合成装置１に備えないようにしてもよい。
【００３５】
音声データ連結手段４６は、音声データ補正手段４５により補正された音声データ列に含まれる音声データそれぞれを連結（接続）して音声出力装置ＳＰに出力するものである。音声合成装置１が、前記した音声データ補正手段４５を備えない場合には、音声データ連結手段４６は、音声データ探索手段４４で探索された音声データ列を連結して音声出力装置ＳＰに出力する。なお、音声出力装置ＳＰは、音声を出力するものであれば何でもよく、例えば、スピーカや、スピーカを含む表示装置（液晶ディスプレイ、ＣＲＴ（Cathode Ray Tube）等）である。なお、音声合成装置１は、図示しない通信インターフェースによって、インターネットなどの通信回路網（図示を省略）を介して音声出力装置ＳＰに出力するようにしてもよい。
【００３６】
［音声合成装置の動作］
次に、図２を参照（適宜図１参照）して、音声合成装置の動作について説明する。図２は、図１に示した音声合成装置の動作を示すフローチャートである。まず、音声合成装置１は、入力手段２によって、テキストデータを入力（ステップＳ１）し、テキストデータ解析手段４１によって、入力テキストデータを形態素解析してアクセント付き音素に変換する（ステップＳ２）。そして、音声合成装置１は、音素クラスタリング手段４２によって、前後の音素でクラスタリングし（ステップＳ３）、音素アクセントクラスタリング手段４３によって、前後の音素のアクセントでクラスタリングする（ステップＳ４）。
【００３７】
続いて、音声合成装置１は、音声データ探索手段４４によって、数式（１）に基づいて、連結スコアが最大となる音声データ列を音声データベース３３から探索する（ステップＳ５）。そして、音声合成装置１は、音声データ補正手段４５によって、探索された音声データ列を補正する（ステップＳ６）。これにより、音声データ列は前後の音声データ列に滑らかに接続することができる。そして、音声合成装置１は、音声データ連結手段４６によって、補正された音声データ列を連結する（ステップＳ７）。これにより、連結された音声合成データは、音声出力装置ＳＰから合成音声として出力される。なお、音声合成装置１は、音声データ補正手段４５を備えていない場合、ステップＳ５に続いて、ステップＳ７に進む。
【００３８】
[具体的な音声合成例]
次に、図３を参照（適宜図１参照）して、音声合成装置１の具体的な音声合成例を説明する。図３は、図１に示した音声合成装置の具体的な音声合成例を示す説明図であって、（ａ）はテキストデータ解析手段の出力例、（ｂ）は音素クラスタリング手段および音素アクセントクラスタリング手段の出力例を示している。
【００３９】
一例として、音声合成装置１の入力手段２にテキストデータ（入力日本語テキスト）として、「〈文頭〉おはようございます〈文末〉」が入力されたものとする。すると、音声合成装置１は、テキストデータ解析手段４１によって、入力日本語テキストをアクセント付き音素に変換し、図３の（ａ）に示すように、音素の列「ｏ（低）ｈａ（高）ｙｏ：（高）ｇｏ（高）ｚａ（高）ｉ（高）ｍａ（高）ｓｕ（低）」を出力する。
【００４０】
そして、図３の（ｂ）に示すように、音声合成装置１は、音素クラスタリング手段４２によって、図３の（ａ）に示した連続した音素の列を構成する各音素３０１を、当該音素３０１の前後に配置された音素（前後の音素環境）を考慮してクラスタリングしたアクセント付き音素（トライフォン、音素クラスタリング３０２）の列を出力する。すなわち、「ｏ（低）＋ｈ  ｏ−ｈ＋ａ  ｈ−ａ（高）＋ｙ  ａ−ｙ＋ｏ：  ｙ−ｏ：（高）＋ｇ  ｏ：−ｇ＋ｏ  ｇ−ｏ（高）＋ｚ  ｏ−ｚ＋ａ  ｚ−ａ（高）＋ｉ  ａ−ｉ（高）＋ｍ  ｉ−ｍ＋ａ  ｍ−ａ（高）＋ｓ  ａ−ｓ＋ｕ  ｓ−ｕ（低）」が出力される。ここで、例えば、トライフォン「ｏ−ｈ＋ａ」は、中心音素は「ｈ」であって、中心音素の前に配置された音素（先行音素）が「ｏ」で、中心音素の後ろに配置された音素（後続音素）が「ａ」であることを意味している。
【００４１】
さらに、音声合成装置１は、音素アクセントクラスタリング手段４３によって、音素クラスタリング手段４２から出力されたアクセント付き音素（音素クラスタリング３０２）を、アクセント付き音素（中心音素）の前後に配置された音素（先行音素、後続音素）のアクセント（前後のアクセント環境）を考慮してクラスタリングしたアクセント付き音素（音素アクセントクラスタリング３０３）の列として音声データ探索手段４４に出力する。すなわち、「ｏ＾２＋ｈ  ｏ−ｈ＾９＋ａ  ｈ−ａ＾４＋ｙ  ａ−ｙ＾８＋ｏ：  ｙ−ｏ：＾１＋ｇ  ｏ：−ｇ＾８＋ｏ  ｇ−ｏ＾１＋ｚ  ｏ−ｚ＾８＋ａ  ｚ−ａ＾１＋ｉ  ａ−ｉ＾１＋ｍ  ｉ−ｍ＾８＋ａ  ｍ−ａ＾６＋ｓ  ａ−ｓ＾１０＋ｕ  ｓ−ｕ＾５」が出力される。ここで、例えば、「ｏ−ｈ＾９＋ａ」は、中心音素が前記した（クラスタ“９”）に属する音素「ｈ」であり、前の音素（先行音素）が「ｏ」であり、後ろの音素（後続音素）が「ａ」であることを意味している。
【００４２】
続いて、音声合成装置１は、音声データ探索手段４４によって、該当するクラスタに属する音声データの組み合わせについて音声データベース３３の探索を行い、連結スコアを最大にする音声データ列を出力する。このとき、音素（例えば、先行音素、分類された中心音素および後続音素の組である「ｏ−ｈ＾９＋ａ」や、分類された中心音素である「ｈ＾９」）を探索単位として、連結スコアが最大となる音声データの組み合わせが音声データベース３３から探索される。
【００４３】
具体的には、音声データ探索手段４４は、まず、音声データベース３３中の「ｏ＾３＋ｈ」から音声データベース３３中の「ｏ−ｈ＾９＋ａ」に接続する音声データ列の全ての組み合わせについて、数式（１）を使用して求められる連結スコアを計算する。
【００４４】
計算された結果、音声データベース３３中、１番始めの「ｏ−ｈ＾９＋ａ」に接続する「ｏ＾３＋ｈ」の音声データ列（出力候補）の中で連結スコアが一番大きいものが音声データ探索手段４４によりメモリ３４に記録される。そして、数式（１）を使用して求められる連結スコアの計算と、記録動作とが音声データベース３３中の全ての「ｏ−ｈ＾９＋ａ」について実行される。
【００４５】
さらに、「ｈ−ａ＾４＋ｙ」についても同様に、音声データベース３３中、１番始めの「ｈ−ａ＾４＋ｙ」に接続する「ｏ−ｈ＾９＋ａ」の音声データ列（出力候補）の中で連結スコアが一番大きいものが音声データ探索手段４４で記録される。そして、数式（１）を使用して求められる連結スコアの計算と、記録動作とが音声データベース３３の全ての「ｈ−ａ＾４＋ｙ」について実行される。
【００４６】
以下、同様にして、各アクセント付き音素を接続する連結スコアが求められ、最後に、入力日本語テキストに対応する音声データ列（出力候補）の組み合わせの中で、連結スコアが一番大きいものが探索されることとなる。この探索された音声データ列は、音声データ補正手段４５によって滑らかに接続され、音声データ連結手段４６によって連結され最終的に一つの音声データとなって、合成音声として音声出力装置ＳＰから出力される。
【００４７】
第１の実施形態によれば、音声合成装置１は、アクセント付き音素について、前後の音素環境に加えて前後のアクセント環境を考慮して、音声データベース３３を探索するので、アクセントの正しい合成音声を作成することが可能になる。その結果、合成音声が不自然に聞こえてしまう自然性の劣化を防止することができる。
【００４８】
（第２の実施形態）
［音声合成装置の構成］
図４は、第２の実施形態の音声合成装置の構成を示す機能ブロック図である。
音声合成装置１Ａは、図４に示すように、記憶手段３Ａと、音声合成制御手段４Ａの機能が異なる点を除いて、図１に示した音声合成装置１と同一の構成なので、同一の構成には同一の符号を付し、説明を省略する。
【００４９】
記憶手段３Ａは、音素列リスト（音素列記憶手段）３５を備える。
音素列リスト３５は、アクセント付き音素の前後に配置された音素および該音素のアクセントでクラスタリングされたアクセント付き音素の列を記憶したものであって、ＨＤＤ等の一般的な記録媒体である。この音素列リスト３５の作成方法については、特開２００５−７０１６４号公報に記載された方法を適用することが出来る。
なお、音声データベース３３に記憶されている単位音声は、全ての母音にアクセントの高低が付与されている音素または音素列（音素列分割仮説データ）を基盤としている。
【００５０】
音声合成制御手段４Ａは、音素列分割手段５１と、音声データ探索手段４４Ａとを備える。音素列分割手段５１は、音素アクセントクラスタリング手段４３でクラスタリングされた音素に変換された入力テキストデータを、音素列リスト３５に記憶されたアクセント付き音素の列（音素列分割仮説データ）に分割し、音声データ探索手段４４Ａに出力するものである。この音素列分割手段５１は、例えば、接続点数や音素数に基づいて、音素列分割仮説データを出力する。なお、このアクセント付き音素の列への分割に関しては、特開２００５−７０１６５号公報に記載されている方法を適用することができる。
【００５１】
音声データ探索手段４４Ａは、音素列分割手段５１で分割されたアクセント付き音素の列に対応する音声データを組み合わせることによって生成される音声データ列の連結スコアをビタービサーチによって計算し、連結スコアが最大となる音声データ列を音声データベース３３から探索し、音声データ補正手段４５に出力するものである。なお、音声データ補正手段４５を備えていない場合には音声データ連結手段４６に出力する。
この音声データ探索手段４４Ａは、アクセント付き音素の列（音素列）を探索単位とする。このアクセント付き音素の列は、図３の（ｂ）において音素アクセントクラスタリング３０３で示した例で表現すると、この音素アクセントクラスタリング３０３の連結したものに相当し、例えば、連続した中心音素の列と先行音素または／および後続音素の組である「（ｏ＾２  ｈ＾９）＋ａ」や、「ｏ−（ｈ＾９  ａ＾４  ｙ＾８）＋ｏ」などで表現される。
【００５２】
［音声合成装置の動作］
次に、図５を参照（適宜図４参照）して、音声合成装置１Ａの動作について説明する。図５は、図４に示した音声合成装置の動作を示すフローチャートである。音声合成装置１Ａは、ステップＳ２１〜Ｓ２４を順次処理する。これらのステップＳ２１〜Ｓ２４は、それぞれ図２に示したステップＳ１〜Ｓ４と同一なので説明を省略する。ステップＳ２４に続けて、音声合成装置１Ａは、音素列分割手段５１によって、音素アクセントクラスタリング手段４３でクラスタリングされた音素に変換された入力テキストデータをアクセント付き音素の列に分割する（ステップＳ２５）。そして、音声合成装置１Ａは、ステップＳ２６〜Ｓ２８を順次処理する。これらのステップＳ２６〜Ｓ２８は、それぞれ図２に示したステップＳ５〜Ｓ７と同一なので説明を省略する。ただし、ステップＳ２６では、音声データ探索手段４４Ａは、アクセント付き音素（例えば、「ｏ−ｈ＾９＋ａ」や「ｈ＾９」）を対象とするのではなく、なるべく分割されたアクセント付き音素の列（例えば、「（ｏ＾２  ｈ＾９）＋ａ」、「ｏ−（ｈ＾９  ａ＾４  ｙ＾８）＋ｏ」）を対象として、連結スコアが最大となる音声データ列を探索する。
【００５３】
次に、前記したステップＳ２５の処理を具体的に説明する。一例として、音声合成装置１Ａの入力手段２にテキストデータ（入力日本語テキスト）として、「〈文頭〉おはようございます〈文末〉」が入力されたものとする。この場合、音声合成装置１Ａは、図３の（ａ）で示したように、テキストデータ解析手段４１によって、連続した音素の列「ｏ（低）ｈａ（高）ｙｏ：（高）ｇｏ（高）ｚａ（高）ｉ（高）ｍａ（高）ｓｕ（低）」を出力する。そして、音声合成装置１Ａの音素列分割手段５１に、図３の（ｂ）で示したように、アクセントクラスタリングされた音素列「ｏ＾２＋ｈ  ｏ−ｈ＾９＋ａ  ｈ−ａ＾４＋ｙ  ａ−ｙ＾８＋ｏ：  ｙ−ｏ：＾１＋ｇ  ｏ：−ｇ＾８＋ｏ  ｇ−ｏ＾１＋ｚ  ｏ−ｚ＾８＋ａ  ｚ−ａ＾１＋ｉ  ａ−ｉ＾１＋ｍ  ｉ−ｍ＾８＋ａ  ｍ−ａ＾６＋ｓ  ａ−ｓ＾１０＋ｕ  ｓ−ｕ＾５」が入力されることとなる。そして、音素列分割手段５１は、入力された１４個の音素（中心音素）から成る音素列を、「（ｏ＾２  ｈ＾９）＋ａ」、「ｈ−（ａ＾４  ｙ＾８  ｏ：＾１  ｇ＾８）＋ｏ」、「ｇ−（ｏ＾１  ｚ＾８  ａ＾１  ｉ＾１）＋ｍ」、および、「ｉ−（ｍ＾８  ａ＾６  ｓ＾１０  ｕ＾５）」の４つの音素列分割仮説データ（アクセント付き音素の列）に分割して、最終的な出力結果として出力することとなる。
【００５４】
第２の実施形態によれば、音声合成装置１Ａは、入力されたテキストデータを音素列リスト３５に予め登録されているアクセント付き音素の列に分割し、このアクセント付き音素の列を、音声データベース３３を探索する探索単位として使用するため、探索する際に前後の音素環境が異なる音素を探索することを防止し、音声合成処理に要する時間を短縮できる。その結果、合成した音声合成データの音質の低下を防止することができる。
【００５５】
以上、各実施形態に基づいて本発明を説明したが、本発明はこれらに限定されるものではない。例えば、音声合成装置１（１Ａ）の各構成を一つずつの過程と捉えた音声合成方法とみなすことや、各構成の処理を汎用のコンピュータ言語で記述した音声合成プログラムとみなすことも可能である。この場合、音声合成装置１（１Ａ）と同様の効果を得ることができる。
【００５６】
また、各実施形態では、音声データベース３３は、基盤としている音素の母音にアクセントの高低を付与されているものとして説明したが、母音にアクセントの強弱を付与するようにしてもよく、また、母音の無声化に対しても、母音があるものとして高低もしくは強弱を付与するようにしてもよい。
また、各実施形態では、音素アクセントクラスタリング手段４３は、前後のアクセント環境として、前後の音の高低を用いるものとしたが、前後の音の高低、強弱、長短、リズムのうちの少なくとも１つを用いればよい。
【実施例】
【００５７】
次に、本発明の効果を確認した実施例について説明する。第２の実施形態の音声合成装置１Ａを用いて、前後のアクセント環境まで考慮してクラスタリングすることにより合成した合成音声（実施例）と、従来のように前後の音素環境のみを考慮してクラスタリングすることにより合成した合成音声（比較例）とを、自然性（より自然に聞こえるか）に関して比較した。
【００５８】
[対比較実験]
音声データベース３３に予め蓄積したデータは、１９９６年６月３日から２００１年６月２２日までのＮＨＫニュースデータベースに存在する森田アナウンサにより発声された２５４８４文章と森田アナウンサが読み上げたバランス文（音素環境をバランスさせて作成した文）である９９文章の計７９．５時間分を全て収めたものであり、総トライフォン数は３５６万であり、異なりトライフォン数は８４５２である。また、評価用テキストには、２００１年６月２５日から６月２９日までの番組「ＮＨＫニュース１０」で森田アナウンサが発声した９６文章（音素数１３２６７）を使用した。
【００５９】
まず、対比較実験について説明する。この対比較実験は、防音室内でスピーカを用いて行い、当該実験の被験者は、音声評定の経験のある３名の女性である。また、この対比較実験では、評価用テキストである９６文章全てを実施例と比較例とについて受聴させ、それぞれの受聴は１回のみに限定した。この対比較実験の各試行は、実施例と比較例とを対でランダムな順序で呈示し、被験者がより自然に感じる方を選択するように当該被験者に指示を与えた。なお、この対比較実験は、各被験者に適度な時間間隔で休憩をとってもらいながら行った。
【００６０】
この対比較実験の結果、全体（ｔｏｔａｌ）で５６．０％の音声に関して、音声合成装置１Ａによって合成した合成音声（実施例）の方が、従来のように前後のアクセント環境を考慮しないもの（比較例）に比べて、自然であると評価された。二項検定を用いると、危険率は５％で、この差は有意である。
【００６１】
[５段階品質評価実験]
次に、５段階品質評価実験について説明する。この５段階品質評価実験は、前後のアクセント環境を考慮した音声データベース３３を利用して作成した合成音声（実施例）と、前後のアクセント環境を考慮しない音声データベースを利用して作成した合成音声（比較例）と、自然音声とに対して５段階で品質評価を行ったものである。
【００６２】
この５段階品質評価実験は、対比較実験と同様に、防音室内で、スピーカを用いて行っており、被験者は音声評定の経験がある３名の女性である。各試行では、評価用データをランダムな順序で被験者に呈示し、被験者は自然性の違いを評価する。この自然性の評価は、“５”（自然である）、“４”（不自然な部分はあるが気にならない）、“３”（少し気になる）、“２”（気になる）、“１”（非常に気になる）の５段階で品質評価を行うこととした。なお、品質評価に先立ち、被験者には、自然音声を３文章聞かせて、どの程度の音声であれば、自然に聞こえるとするかといった評価基準（インストラクション）を与えた。また、評価用テキストとして実際に放送されたニュース文を利用しているので、１文の長さが平均で１０秒程度と長いことから、受聴は１回のみに限定し、適度な間隔で休憩を挟みながら行った。
【００６３】
ここで、平均オピニオン評点（ＭＯＳ：Mean Opinioin Score）について図６を参照して説明する。図６は、図４に示した音声合成装置を使用した５段階品質評価実験の結果を示すグラフである。図６に示すグラフから、実施例の場合のＭＯＳは「４．１９」となり、比較例のＭＯＳは「３．９５」となった。実施例のＭＯＳ「４．１９」は、「自然である」と「不自然な部分があるが気にならない」との間の自然性を持つと言え、比較例のＭＯＳ「３．９５」と比べ、良い評価であると言える。なお、自然音声のＭＯＳは「４．９９」となった。
【００６４】
また、図６に示すように、実施例では、全体の４９％の合成音声が“５”（自然である）と評価されている。そのため、実施例では、自然音声と変わらない品質の音声データが高頻度で合成されていると言える。なお、“２”および“１”の評価を受けたものは全体の８％である。
【図面の簡単な説明】
【００６５】
【図１】第１の実施形態に係る音声合成装置の構成を示す機能ブロック図である。
【図２】図１に示した音声合成装置の動作を示すフローチャートである。
【図３】図１に示した音声合成装置の具体的な音声合成例を示す説明図であって、（ａ）はテキストデータ解析手段の出力例、（ｂ）は音素クラスタリング手段および音素アクセントクラスタリング手段の出力例を示している。
【図４】第２の実施形態の音声合成装置の構成を示す機能ブロック図である。
【図５】図４に示した音声合成装置の動作を示すフローチャートである。
【図６】図４に示した音声合成装置を使用した５段階品質評価実験の結果を示すグラフである。
【符号の説明】
【００６６】
１，１Ａ  音声合成装置
２      入力手段
３，３Ａ  記憶手段
３１    発音単語記憶手段
３２    接続確率記憶手段
３３    音声データベース
３４    メモリ
３５    音素列リスト（音素列記憶手段）
４，４Ａ  音声合成制御手段
４１    テキストデータ解析手段
４２    音素クラスタリング手段
４３    音素アクセントクラスタリング手段
４４，４４Ａ  音声データ探索手段
４５    音声データ補正手段
４６    音声データ連結手段
５１    音素列分割手段
ＳＰ    音声出力装置
【図１】
0004580317.tif 000003
【図２】
0004580317.tif 000004
【図３】
0004580317.tif 000005
【図４】
0004580317.tif 000006
【図５】
0004580317.tif 000007
【図６】
0004580317.tif 000008