(57)【特許請求の範囲】
【請求項１】
音響特徴の境界を形成する一対の言語単位を入力として合成音声波形を生成する音声合成装置であって、
音声素片候補の言語情報と当該音声素片候補の音響特徴量と当該音声素片候補の音響特徴を分類するカテゴリとの間の対応関係を定める素片辞書が記憶されているデータ記憶部と、
前記素片辞書を用いて、前記一対の言語単位の一方に対応する複数の音声素片候補からなる第１素片候補群とともに、前記一対の言語単位の他方に対応する複数の音声素片候補からなる第２素片候補群を選択する素片候補選択部と、
前記第１素片候補群を構成する音声素片候補と前記第２素片候補群を構成する音声素片候補との組み合わせの中から、少なくとも１組の音声素片候補からなる組み合わせ候補を抽出する素片選択部と、
前記組み合わせ候補の中から選択された組の音声素片の音響特徴情報に基づいて前記合成音声波形を生成する音声波形生成部と
を備え、
前記素片選択部は、前記第２素片候補群を構成する音声素片候補のカテゴリ同士の類似尺度に基づき、前記第１素片候補群を構成する各音声素片候補について前記第２素片候補群の中から少なくとも１個の音声素片候補を選択することによって前記組み合わせ候補を抽出することを特徴とする音声合成装置。
【請求項２】
請求項１記載の音声合成装置であって、
前記データ記憶部には、音声素片候補のカテゴリ同士の類似尺度を格納するパターン辞書が予め記憶されており、
前記素片選択部は、前記パターン辞書を用いて前記組み合わせ候補を抽出することを特徴とする音声合成装置。
【請求項３】
請求項２記載の音声合成装置であって、前記類似尺度は、重み付きユークリッド距離であることを特徴とする音声合成装置。
【請求項４】
請求項１から請求項３のうちのいずれか１項記載の音声合成装置であって、入力されたテキスト情報の言語解析を実行して、前記一対の言語単位を含む中間言語情報を生成する言語解析部を更に備え、
前記素片候補選択部は、前記中間言語情報に基づいて前記第１素片候補群及び前記第２素片候補群を選択することを特徴とする音声合成装置。
【請求項５】
請求項１記載の音声合成装置であって、
前記一対の言語単位のうちの一方の言語単位の音響特徴を示す第１の音響特徴パターンを推定するとともに、前記一対の言語単位のうちの他方の言語単位の音響特徴を示す第２の音響特徴パターンを推定する音響特徴生成部と、
前記第１の音響特徴パターンに基づいて、当該一方の言語単位の音響特徴を分類するカテゴリである第１の目標カテゴリを決定するとともに、前記第２の音響特徴パターンに基づいて、当該他方の言語単位の音響特徴を分類するカテゴリである第２の目標カテゴリを決定するパターン決定部と
を備え、
前記素片候補選択部は、前記第１の目標カテゴリと前記第１素片候補群を構成する各音声素片候補のカテゴリとの間の類似尺度に基いて、前記第１素片候補群の中から少なくとも１個の音声素片候補からなる第１の中間素片候補群を抽出するとともに、前記第２の目標カテゴリと前記第２素片候補群を構成する各音声素片候補のカテゴリとの間の類似尺度に基づいて、前記第２素片候補群の中から少なくとも１個の音声素片候補からなる第２の中間素片候補群を抽出し、
前記素片選択部は、前記第１の中間素片候補群を構成する音声素片候補と前記第２の中間素片候補群を構成する音声素片候補との組み合わせの中から前記組み合わせ候補を抽出することを特徴とする音声合成装置。
【請求項６】
請求項５記載の音声合成装置であって、
前記データ記憶部には、音声素片候補のカテゴリ同士の類似尺度を格納するパターン辞書が予め記憶されており、
前記素片候補選択部は、前記パターン辞書を用いて前記第１の中間素片候補群及び前記第２の中間素片候補群を抽出することを特徴とする音声合成装置。
【請求項７】
請求項５または請求項６記載の音声合成装置であって、前記類似尺度は、重み付きユークリッド距離であることを特徴とする音声合成装置。
【請求項８】
請求項５から請求項７のうちのいずれか１項記載の音声合成装置であって、入力されたテキスト情報の言語解析を実行して、前記一対の言語単位を含む中間言語情報を生成する言語解析部を更に備え、
前記素片候補選択部は、前記中間言語情報に基づいて前記第１の中間素片候補群及び前記第２の中間素片候補群を抽出することを特徴とする音声合成装置。
【請求項９】
音声素片候補の言語情報と当該音声素片候補の音響特徴量と当該音声素片候補の音響特徴を分類するカテゴリとの間の対応関係を定める素片辞書が記憶されているデータ記憶部を備えた情報処理装置において実行される音声合成方法であって、
音響特徴の境界を形成する一対の言語単位を入力とするステップと、
前記素片辞書を用いて、前記一対の言語単位の一方に対応する複数の音声素片候補からなる第１素片候補群とともに、前記一対の言語単位の他方に対応する複数の音声素片候補からなる第２素片候補群を選択するステップと、
前記第２素片候補群を構成する複数の音声素片候補のカテゴリ同士の類似尺度に基づき、前記第１素片候補群を構成する各音声素片候補に対して前記第２素片候補群の中から少なくとも１個の音声素片候補を選択するステップと、
当該選択結果により、前記第１素片候補群を構成する複数の音声素片候補と前記第２素片候補群を構成する複数の音声素片候補との組み合わせの中から、少なくとも１組の音声素片候補からなる組み合わせ候補を抽出するステップと、
前記組み合わせ候補の中から選択された組の音声素片の音響特徴情報に基づいて合成音声波形を生成するステップと
を備えることを特徴とする音声合成方法。
【請求項１０】
請求項９記載の音声合成方法であって、
前記一対の言語単位のうちの一方の言語単位の音響特徴を示す第１の音響特徴パターンを検出するとともに、前記一対の言語単位のうちの他方の言語単位の音響特徴を示す第２の音響特徴パターンを検出するステップと、
前記第１の音響特徴パターンに基づいて、当該一方の言語単位の音響特徴を分類するカテゴリである第１の目標カテゴリを決定するステップと、
前記第２の音響特徴パターンに基づいて、当該他方の言語単位の音響特徴を分類するカテゴリである第２の目標カテゴリを決定するステップと、
前記第１の目標カテゴリと前記第１素片候補群を構成する各音声素片候補のカテゴリとの間の類似尺度に基いて、前記第１素片候補群の中から少なくとも１個の音声素片候補からなる第１の中間素片候補群を抽出するステップと、
前記第２の目標カテゴリと前記第２素片候補群を構成する各音声素片候補のカテゴリとの間の類似尺度に基づいて、前記第２素片候補群の中から少なくとも１個の音声素片候補からなる第２の中間素片候補群を抽出するステップと
を更に備え、
前記組み合わせ候補は、前記第１の中間素片候補群を構成する音声素片候補と前記第２の中間素片候補群を構成する音声素片候補との組み合わせの中から抽出されることを特徴とする音声合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成技術に関し、特に、合成単位間の境界付近における韻律などの音響特徴を制御するための音声合成技術に関する。
【背景技術】
【０００２】
従来の音声合成技術では、たとえば、単語の音韻情報とアクセント型に従う規則と基づいて音声合成が行われていたが、単調で不自然な合成音声が生成されていた。近年、合成音声を単調にさせずに柔軟な韻律制御を実現することができる音声合成技術がいくつか提案されている。
【０００３】
たとえば、特許文献１（特開平１０−８３１９２号公報）には、１つのアクセント型を決める最小単位である韻律語間の依存強度、係り受け構造、及び受け数のうちの少なくとも１つの情報を用いて、隣接する韻律語間の結合強度を決定して韻律句間の境界強度を求める音声合成装置が開示されている。この音声合成装置に含まれる韻律情報生成部は、その境界強度を用いて、連続する韻律句間の境界に対してポーズの挿入指令またはフレーズの立ち上げ指令などの韻律制御指令を設定することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−８３１９２号公報（たとえば、図１及び段落００１６〜００〜００４４）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている韻律制御指令では、多様な韻律制御を実行することが難しいため、当該境界付近の韻律が単調になりやすく、あるいは当該境界付近で合成音声の音質が劣化しやすいという課題がある。
【０００６】
上記に鑑みて本発明の目的は、韻律句などの合成単位間の境界付近に対して韻律などの音響特徴の多様な制御を実行することができ、合成音声の音質劣化を軽減することができる音声合成装置及び音声合成方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明の一態様による音声合成装置は、音響特徴の境界を形成する一対の言語単位を入力として合成音声波形を生成する音声合成装置であって、音声素片候補の言語情報と当該音声素片候補の音響特徴量と当該音声素片候補の音響特徴を分類するカテゴリとの間の対応関係を定める素片辞書が記憶されているデータ記憶部と、前記素片辞書を用いて、前記一対の言語単位の一方に対応する複数の音声素片候補からなる第１素片候補群とともに、前記一対の言語単位の他方に対応する複数の音声素片候補からなる第２素片候補群を選択する素片候補選択部と、前記第１素片候補群を構成する音声素片候補と前記第２素片候補群を構成する音声素片候補との組み合わせの中から、少なくとも１組の音声素片候補からなる組み合わせ候補を抽出する素片選択部と、前記組み合わせ候補の中から選択された組の音声素片の音響特徴情報に基づいて前記合成音声波形を生成する音声波形生成部とを備え、前記素片選択部は、前記第２素片候補群を構成する音声素片候補のカテゴリ同士の類似尺度に基づき、前記第１素片候補群を構成する各音声素片候補について前記第２素片候補群の中から少なくとも１個の音声素片候補を選択することによって前記組み合わせ候補を抽出することを特徴とする。
【０００８】
本発明の他の態様による音声合成方法は、音声素片候補の言語情報と当該音声素片候補の音響特徴量と当該音声素片候補の音響特徴を分類するカテゴリとの間の対応関係を定める素片辞書が記憶されているデータ記憶部を備えた情報処理装置において実行される音声合成方法であって、音響特徴の境界を形成する一対の言語単位を入力とするステップと、前記素片辞書を用いて、前記一対の言語単位の一方に対応する複数の音声素片候補からなる第１素片候補群とともに、前記一対の言語単位の他方に対応する複数の音声素片候補からなる第２素片候補群を選択するステップと、前記第２素片候補群を構成する複数の音声素片候補のカテゴリ同士の類似尺度に基づき、前記第１素片候補群を構成する各音声素片候補に対して前記第２素片候補群の中から少なくとも１個の音声素片候補を選択するステップと、当該選択結果により、前記第１素片候補群を構成する複数の音声素片候補と前記第２素片候補群を構成する複数の音声素片候補との組み合わせの中から、少なくとも１組の音声素片候補からなる組み合わせ候補を抽出するステップと、前記組み合わせ候補の中から選択された組の音声素片の音響特徴情報に基づいて合成音声波形を生成するステップとを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、音響特徴の多様な制御を実行することができ、合成音声の音質劣化を軽減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る実施の形態１の音声合成装置の概略構成を示すブロック図である。
【図２】図２Ａ及び図２Ｂは、実施の形態１に係る辞書データの構造例を示す図である。
【図３】図３Ａ及び図３Ｂは、音響特徴量の例を概略的に示すグラフである。
【図４】実施の形態１に係る音声合成処理の手順の一例を概略的に示すフローチャートである。
【図５】実施の形態１に係る素片選択処理の一例を概略的に示すフローチャートである。
【図６】図６Ａ及び図６Ｂは、フレーズのカテゴリの組み合わせの例を示す図である。
【図７】図７Ａ及び図７Ｂは、フレーズのカテゴリの組み合わせの他の例を示す図である。
【図８】図８Ａ及び図８Ｂは、フレーズのカテゴリの組み合わせの更に他の例を示す図である。
【図９】音響特徴パラメータで形成される空間におけるカテゴリの配置を概念的に示す図である。
【図１０】実施の形態１の音声合成装置のハードウェア構成例を示すブロック図である。
【図１１】本発明に係る実施の形態２の音声合成装置の概略構成を示すブロック図である。
【図１２】実施の形態２に係る音声合成処理の手順の一例を概略的に示すフローチャートである。
【図１３】実施の形態２に係る素片選択処理の一例を概略的に示すフローチャートである。
【図１４】図１４Ａは、入力テキスト情報の例を示し、図１４Ｂは、この入力テキスト情報に対応するピッチパターンを示し、図１４Ｃは、フレーズ境界記号を含む中間言語情報の例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ、本発明に係る種々の実施の形態について詳細に説明する。
実施の形態１．
図１は、本発明に係る実施の形態１である音声合成装置１の概略構成を示すブロック図である。この音声合成装置１は、時間領域で隣接する言語単位間に音響特徴の違いによる境界が存在する場合に、これら言語単位のそれぞれの音響特徴を考慮して音声素片（以下、単に「素片」ともいう。）を選択し、当該選択された素片の音声波形を接続して合成音声波形を生成する機能を有するものである。
【００１２】
ここで、音響特徴は、音の高さ（周波数）、音の強さ、音の時間的な長さ及び音色（声色ともいう。）のうちから選択された１つ以上の要素で表すことができる。音響特徴の一種である韻律的特徴は、音の高さ、音の強さ及び音の時間的な長さのうちから選択された１つ以上の要素で表すことが可能である。韻律的特徴としては、たとえば、ピッチ、アクセント位置、アクセント強度、ポーズまたはイントネーションが挙げられる。音色は、音声のスペクトル情報（周波数特性）に依存し、たとえば、共振周波数（フォルマント周波数）によって特徴付けられる。なお、音の高さの変化のパターンである声調も、音声のスペクトル情報に依存する音響特徴の一種である。
【００１３】
本明細書では、素片とは、１つの音素、２つ以上の音素の連鎖、１つの分割音素、２つ以上の分割音素の連鎖、または、１つ以上の音素と１つ以上の分割音素との連鎖をいう。音素（ｐｈｏｎｅｍｅ）とは、１つの言語において、言葉の意味の区別を表すのに用いられる音声の最小の単位をいう。標準的な日本語の場合、母音及び子音の１つ１つが音素となる。たとえば、「あ」などの母音/a/、「い」などの母音/i/、及び「ま」などの子音/m/が音素に該当する。また、分割音素とは、１つの音素を音声的に分割して得られる２つ以上の分割片の各々をいう。１つの音素が音声的に２つの分割片に分割された場合、各分割片は半音素と呼ばれる。
【００１４】
素片の単位は、音素単位、分割音素単位、音節単位、形態素単位、アクセントフレーズ単位、呼気フレーズ単位、または文単位などの、任意の単位とすることができる。また、アクセントフレーズとは、１つのアクセント核を有する言語単位をいう。呼気フレーズとは、人間が一息で発声することができる言語単位をいう。フレーズは、一呼吸で発生する１つ以上のアクセントフレーズの集まりということもできる。
【００１５】
図１に示されるように、この音声合成装置１は、読み上げられるべき内容を示すテキスト情報が入力される入力部１０と、そのテキスト情報の言語解析を実行して表音記号を含む中間言語情報を生成する言語解析部１１と、その中間言語情報に基づいて複数の音声素片候補（以下、単に「素片候補」ともいう。）を選択する素片候補選択部１４と、当該複数の素片候補の中から音声合成で使用されるべき素片を選択する素片選択部１５と、当該選択された素片の音響特徴情報に韻律加工及び波形接続処理を施して合成音声波形を示す音声データを生成する音声波形生成部１６と、その音声データを外部に出力する出力部１７と、各種辞書２１〜２３が予め記憶されたデータ記憶部２０とを備えている。
【００１６】
入力部１０に入力されるテキスト情報は、たとえば、漢字、アルファベット、数字及び記号などの、読み上げ可能な複数種の言語要素の中から選択された言語要素の系列を表すデータであればよい。入力部１０は、文字または記号などの符号の入力が可能な入力デバイスにより構成されていればよい。この種の入力デバイスとしては、たとえば、キーボードまたはタッチパネルの使用が可能である。また、テキストデータを含むファイルデータを選択的に受け付けるように入力部１０が構成されてもよい。あるいは、入力部１０は、通信ネットワークまたはケーブルなどの通信媒体を介して、通信装置などの外部装置から転送されたストリームデータを受信可能であるように構成されてもよい。
【００１７】
更には、入力部１０は、人間の発した音響波を直接受信して電気信号に変換する音響変換部と、その電気信号をテキスト情報に変換する情報処理部とを備えてもよい。この場合には、入力部１０は、ＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）マッチング法、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）法、またはニューラルネットワークによる方法などの公知の音声認識技術を用いてテキスト情報を生成する構成を有してもよい。この種の音声認識技術は、たとえば、非特許文献１（古井貞熙著，「音声情報処理」森北出版株式会社，２００９年９月１０日発行，ｐｐ．９１〜１０６）に開示されている。
【００１８】
言語解析部１１は、入力されたテキスト情報に対し、言語辞書２１を用いて形態素解析、構文解析及び韻律処理などの言語解析を施すことにより、表音記号を含む中間言語情報を生成する。言語辞書２１には、言語解析に必要な言語情報が格納されている。言語情報は、単語の読みを含み、更に、たとえば、単語のアクセント境界、アクセント位置、アクセント強度、品詞及び出現頻度などの特徴のうちの１つ以上を含む情報であればよい。中間言語は、読み、アクセント区切り、アクセント位置（アクセント核）、アクセント強度、ポーズ位置またはポーズ長などの、発声の仕方を表す表音記号を含む情報である。たとえば、以下の日本語のテキスト情報が入力された場合には、言語解析部１１は、以下に示されるようにカタカナで読みが表現された中間言語を生成することができる。
【００１９】
入力テキスト情報：「今日は寒いが、晴れていて、明日は暑いが、雨である。」
中間言語：「キョ’−ワ／サム’イガ，ハ’レテイテ，アス’ワ／アツ’イガ／ア’メデアル．」
【００２０】
ここで、「’」は、アクセント位置を示す表音記号であり、「／」は、アクセント区切りを示す表音記号である。なお、たとえば、特開２００２−３３３８９６号公報または特開２００３−４４０７３号公報に開示されている言語解析技術が使用されてもよい。
【００２１】
素片候補選択部１４は、素片辞書２２を参照して、この素片辞書２２に登録されている多数の素片候補の中から、中間言語情報に含まれる各言語単位（たとえば、フレーズ）について単数または複数の素片候補からなる素片候補群を選択する。素片辞書２２には、多数の素片候補に関する素片情報が予め格納されている。素片情報は、少なくとも、各素片候補の言語情報（たとえば、当該各素片候補の読みを示す音韻情報）と、各素片候補の音響特徴情報と、各素片候補の音響特徴を分類するカテゴリとの間の対応関係を定めるデータである。各素片候補の音響特徴情報としては、各素片候補の音声波形を示す波形データ、あるいは、各素片候補の音声波形の特徴を示す音響特徴パラメータの集合のいずれでもよい。また、素片情報は、音響特徴情報そのものを含んでいてもよいし、あるいは、音響特徴情報が格納されている記録領域を指定する情報を含んでいてもよい。
【００２２】
カテゴリは、人為的に設定することができる。カテゴリとしては、文意または構文構造を意味するカテゴリが挙げられる。たとえば、「並列」、「強意」、「呼びかけ」、「不確定」、「選択」、「類推」、「限定」、「例示」、「程度」、「範囲」、「軽視」、「禁止」、「感動」、「質問」、「疑問」、「反語」、「確信」、「断定」、「仮定」、「念押し」、「順接」、「逆接」、「添加」、「対比」、「転換」、「同列」、「補足」、「独立（係り受けの関係が無いため先行フレーズまたは後続フレーズの影響を受けないカテゴリ）」、「非独立」がカテゴリの具体例として挙げられる。また、発話スタイルに基づいてカテゴリが設けられてもよい。たとえば、喜怒哀楽などの感情、ささやき声、悩みといったパラ言語情報がカテゴリとして設定されてもよい。
【００２３】
本明細書では、カテゴリの中でも、特に、音響特徴の境界を形成する一対のフレーズのそれぞれのカテゴリを「フレーズ境界パターン」と呼ぶこととする。たとえば、「明日は暑いが、雨である。」とのテキスト情報が入力された場合、「明日は暑いが」との先行フレーズと、「雨である」との後続フレーズとの間に韻律の違いが存在するので、これら先行フレーズと後続フレーズとの間に音響特徴の境界が存在する。なお、音響特徴の境界は、フレーズ（語句）間だけでなく、フレーズ以外の言語単位間に存在する場合がある。
【００２４】
ここで、素片辞書２２においては、１つの素片候補は、先行フレーズ及び後続フレーズのいずれか一方に対応付けられていてもよいし、あるいは、先行フレーズ及び後続フレーズの組み合わせに対応付けられていてもよい。また、１つの素片候補が複数種のカテゴリに属すると判断される場合には、当該素片候補に複数種のカテゴリが割り当てられてもよい。
【００２５】
なお、フレーズ境界パターンは、当該フレーズ境界パターンを有する素片候補の音響特徴を表す音響特徴パラメータを用いてｋ−ｍｅａｎｓ法などの公知のクラスタリング手法により自動で作成されてもよい。これにより、各素片候補にカテゴリを付与する手間を無くすことができる。更に、フレーズ境界パターンのカテゴリは、音韻情報またはアクセント情報を用いて細かく分類されたものでもよい。
【００２６】
次に、素片選択部１５は、素片辞書２２及びフレーズ境界パターン辞書２３（以下、単に「パターン辞書２３」ともいう。）を用いて、素片候補選択部１４で選択された素片候補群の中から、音声合成処理で接続されるべき素片を選択し、当該選択された素片の音響特徴情報を音声波形生成部１６に供給する機能を有する。素片候補選択部１４及び素片選択部１５の機能の詳細については後述する。
【００２７】
パターン辞書２３においては、２種類のフレーズ境界パターン（候補カテゴリ）同士の類似尺度（以下、単に「尺度」ともいう。）を複数定める辞書データが格納されている。図２Ａは、或る先行フレーズに対応する素片候補に割り当てられた２種類のフレーズ境界パターン（候補カテゴリ）同士の尺度を格納する辞書データＤＴａの構造の一例を示す図である。また、図２Ｂは、或る後続フレーズに対応する素片候補に割り当てられた２種類のフレーズ境界パターン（候補カテゴリ）同士の尺度を格納する辞書データＤＴｂの構造の一例を示す図である。図２Ａ及び図２Ｂに示した辞書データＤＴａ，ＤＴｂは、パターン辞書２３の一部としてデータ記憶部２０に予め記憶されている。たとえば、「晴れですが、見えないでしょう。」とのテキスト情報については、「見えないでしょう」との後続フレーズに対して「順接」及び「逆接」という２種類のフレーズ境界パターンを割り当てることが可能である。この場合、「順接」と「逆接」との間の尺度がパターン辞書２３に格納されている。
【００２８】
次に、パターン辞書２３に格納される尺度について説明する。尺度は、素片候補の２種類のカテゴリ間の類似度を表す指標値であり、たとえば、素片候補の音響特徴量を用いて算出される値である。今、或るカテゴリに属する素片候補の音響特徴量ＦａがＮ個の音響特徴パラメータａ１，ａ２，…，ａＮ（Ｎは正整数）からなり、他のカテゴリに属する当該素片候補の音響特徴量ＦｂがＮ個の音響特徴パラメータｂ１，ｂ２，…，ｂＮからなるとき、尺度Ｄｔは、次式（１）で与えられる。
0006469035.tif 000002
【００２９】
ここで、ｗ１，…，ｗＮは、重み係数である。尺度Ｄｔは、Ｎ次元ユークリッド空間において、音響特徴パラメータ間の差分（＝ａｋ−ｂｋ）に重み（＝ｗｋ１／２）が付けられた重み付きユークリッド距離として計算されている。
【００３０】
図３Ａは、或る先行フレーズがカテゴリ「逆接」に属する場合の音響特徴量Ｆａの例を概略的に示すグラフであり、図３Ｂは、同じ或る先行フレーズがカテゴリ「限定」に属する場合の音響特徴量Ｆｂの例を概略的に示すグラフである。図３Ａ及び図３Ｂに示したグラフにおいて、横軸は時間を表し、縦軸はピッチ（基本周波数）を表している。図３Ａ及び図３Ｂでは、音響特徴パラメータａ１，ｂ１は、波形の第１の傾斜を示し、音響特徴パラメータａ２，ｂ２は、波形の第２の傾斜を示している。また、音響特徴パラメータａ３，ｂ３は、波形のレンジを示し、音響特徴パラメータａ４，ｂ４は、波形の継続時間を示している。なお、重み付きユークリッド距離に代えて、他の類似尺度（たとえば、コスト）が採用されてもよい。
【００３１】
尺度の計算に用いられる音響特徴パラメータａ１〜ａＮ，ｂ１〜ｂＮは、図３Ａ及び図３Ｂに示した例に限らず、音響特徴を表す音響特徴パラメータを少なくとも１つ以上含めばよい。ピッチについては、たとえば、波形区間内の平均値、四分位値、中間値、レンジまたは分散などの統計値、並びに、極値を結ぶ傾斜を音響特徴パラメータとして用いればよい。話速については、たとえば、波形区間内の継続時間の変化、モーラ単位の平均継続時間の変化、またはフレーズ内の複数区間におけるモーラ単位平均継続時間の変化を音響特徴パラメータとして使用してもよい。更に、パワーについては、たとえば、波形の振幅値もしくはエネルギー、または人間の可聴域などの周波数帯域が限定されたエネルギーを音響特徴パラメータとして使用することができる。また、パワーに関するその区間内の平均値、四分位値、中間値、レンジもしくは分散などの統計値、またはフレーズ内の複数区間における変化を音響特徴パラメータとして使用してもよい。ポーズについては、ポーズ時間長を音響特徴パラメータとして使用すればよい。
【００３２】
また、尺度の計算に使用される単位としては、フレーズ全体の区間、音響特徴の出現しやすい文末の一定時間長の区間、音響特徴の出現しやすい文頭の一定時間長の区間、助詞もしくは助動詞などの形態素の単位の区間、または音響特徴パラメータの極値を結ぶ区間などの、フレーズ境界パターンの特徴を表す１つ以上の区間が使用されればよい。
【００３３】
また、尺度の計算は、カテゴリに分類された素片候補のセントロイド（代表的なパターン）を使用して実行されればよい。ここで、セントロイドに近い１つ以上の代表的な素片候補を選択してカテゴリ間の尺度を計算してもよく、あるいは、ランダムに選択された１つ以上の素片候補を選択してカテゴリ間の尺度を計算してもよい。また、或るカテゴリの音響特徴パラメータを予め設定しておき、当該或るカテゴリに対する他のカテゴリの尺度を計算してもよい。なお、複数の素片候補を利用して１つの尺度が算出されてもよい。この場合は、当該複数の素片候補に基づいて算出された複数の尺度の和または平均などの統計値を１つの尺度として算出すればよい。
【００３４】
次に、図１に示される音声波形生成部１６は、素片選択部１５で選択された素片に韻律加工及び波形接続処理を施して合成音声波形を示す音声データを生成する。ここで、音声データは、所定フォーマットの音声ファイルまたはストリームデータとして生成されればよい。また、音声データは、符号化されたデータであってもよい。出力部１７は、その音声データを外部に出力する。ここで、出力部１７は、アナログ信号に変換された音声データを出力してもよい。
【００３５】
次に、図４及び図５を参照しつつ、上記音声合成装置１の動作について説明する。図４は、実施の形態１に係る音声合成処理の手順の一例を概略的に示すフローチャートであり、図５は、図４に示される素片選択処理（ステップＳＴ１２）の手順の一例を概略的に示すフローチャートである。図４及び図５は、入力された中間言語情報が、音響特徴の境界を形成する一対の先行フレーズ及び後続フレーズを含む場合の処理手順を示している。
【００３６】
図４に示されるように、音声合成装置１は、外部からテキスト情報が入力されるまで待機している（ステップＳＴ１０のＮＯ）。外部からテキスト情報が入力されると（ステップＳＴ１０のＹＥＳ）、言語解析部１１は、入力部１０を介して入力されたテキスト情報に対し、言語辞書２１を用いた言語解析を実行して中間言語情報を生成する（ステップＳＴ１１）。その後、素片選択処理（ステップＳＴ１２）が実行される。
【００３７】
なお、音声合成装置１の入力部１０は、外部から中間処理情報が直接入力される構成を有していてもよい。この場合には、音声合成装置１は、言語解析部１１を有する必要はない。また、図４のフローチャートにおいては、ステップＳＴ１１は不要である。
【００３８】
次に、図５を参照すると、素片候補選択部１４は、素片辞書２２を参照し、入力された中間言語情報に基づいて素片候補群を選択する（ステップＳＴ２１）。ここで、入力された中間言語情報は、音響特徴の境界を形成する一対のフレーズを含むので、素片候補選択部１４は、素片辞書２２を用いて、当該一対のフレーズのうちの先行フレーズに対応する素片候補α１，α２，…，αＭ（以下、先行素片候補α１〜αＭともいう。）からなる素片候補群｛αｍ｝を選択するとともに、当該一対のフレーズのうちの後続フレーズに対応する素片候補β１，β２，…，βＫ（以下、後続素片候補α１〜αＫともいう。）からなる素片候補群｛βｋ｝を選択する。ここで、Ｍ，Ｋは、正整数である。素片辞書２２では、素片候補α１〜αＭの各々に少なくとも１つのカテゴリが割り当てられており、素片候補β１〜βＫの各々に少なくとも１つのカテゴリが割り当てられている。
【００３９】
次に、素片選択部１５は、先行素片候補α１〜αＭの中から一の先行素片候補αｉを選択する（ステップＳＴ２２）。ｉは、先行素片候補αｉの識別番号であり、今の場合、たとえばｉ＝１である。続けて、素片選択部１５は、当該先行素片候補αｉのカテゴリを目標カテゴリに設定する（ステップＳＴ２３）。これにより、後続素片候補β１〜βＫのそれぞれのカテゴリが候補カテゴリに設定される。
【００４０】
次に、素片選択部１５は、パターン辞書２３を参照して、後続素片候補β１〜βＫの候補カテゴリ同士の尺度に基づき、先行素片候補αｉについて、後続素片候補β１〜βＫの中から少なくとも１個の後続素片候補βｊを抽出する（ステップＳＴ２４）。ここでは、素片選択部１５は、図２Ａに示した辞書データＤＴａにおける候補カテゴリ同士の尺度を参照して、少なくとも１個の後続素片候補βｊを抽出すればよい。たとえば、１０個の後続素片候補β１〜β１０が存在する場合、少なくとも、後続素片候補の組み合わせの数（＝１０Ｃ２＝４５個）の辞書データＤＴａが用意されている。素片選択部１５は、後続素片候補β１〜βＫの中から、最も高い尺度を有する候補カテゴリを有する後続素片候補を抽出してもよいし、あるいは、後続素片候補β１〜βＫの中から、尺度の大きい方から順に所定個数の後続素片候補を選択してもよい。これにより、先行素片候補αｉと後続素片候補βｊとの組み合わせ候補（αｉ，βｊ）が少なくとも１組生成される。当該組み合わせ候補（αｉ，βｊ）と当該組み合わせ候補（αｉ，βｊ）の音響特徴情報とは、音声波形生成部１６に供給される。
【００４１】
その後、未選択の先行素片候補が有ると判定した場合には（ステップＳＴ２５のＹＥＳ）、素片選択部１５は、識別番号ｉを変更して（たとえば、ｉを１から２に変更して）新たな先行素片候補αｉを選択し（ステップＳＴ２６）、この先行素片候補αｉについて上記ステップＳＴ２３〜ＳＴ２４を実行する。この結果、先行素片候補αｉと後続素片候補βｊとの新たな組み合わせの候補（αｉ，βｊ）が少なくとも１組生成される。当該新たな組み合わせ候補（αｉ，βｊ）と当該新たな組み合わせ候補（αｉ，βｊ）の音響特徴情報とは、音声波形生成部１６に供給される。
【００４２】
最終的に、未選択の先行素片候補が無いと判定した場合には（ステップＳＴ２５のＮＯ）、少なくともＭ個の組み合わせ候補が音声波形生成部１６に供給されることとなる。音声波形生成部１６は、所定の波形接続アルゴリズムに従い、基本周波数、パワー、継続長及び短時間振幅スペクトルなどの音響特徴パラメータを用いて、少なくともＭ個の組み合わせ候補（先行素片候補と後続素片候補との組の候補）の中から、音声波形の接続性を良好にする最適な組み合わせを選択する（ステップＳＴ２７）。波形接続アルゴリズムは、特に制限されるものではないが、たとえば、特開２０１３−１５６４７２号公報に開示されている公知の波形接続アルゴリズムが使用されればよい。
【００４３】
その後、図４を参照すると、音声波形生成部１６は、素片選択部１５で選択された組み合わせの素片の音響特徴情報に韻律加工を実行し（ステップＳＴ１３）、更に、その韻律加工の結果得られた、先行素片及び後続素片の音響特徴情報に基づいて合成音声波形を示す音声データを生成する（ステップＳＴ１４）。その後、出力部１７は、その音声データを外部に出力する（ステップＳＴ１５）。
【００４４】
ステップＳＴ１３の韻律加工は、たとえば、公知のＰＳＯＬＡ（Ｐｉｔｃｈ−Ｓｙｎｃｈｒｏｎｏｕｓ  Ｏｖｅｒｌａｐ  ａｎｄ  Ａｄｄ）法を用いて素片の基本周波数及び継続時間長を変形させることで実行されればよい。ＰＳＯＬＡ法は、たとえば、非特許文献２（F.J.Charpentier and M.G.Stella, ICASSP86, pp.2015-2018, Tokyo, 1986）に開示されている。
【００４５】
また、合成音声波形の生成法については、音声波形生成部１６は、先ず、先行素片の音声波形の端の形状と後続素片の音声波形の端の形状とを考慮して、時間領域におけるこれらの端の配置位置（たとえば、ピッチ単位の相関値が高くなる位置）を決定する。次に、音声波形生成部１６は、先行素片及び後続素片の音声波形を重ね合わせして合成音声波形を生成する。このとき、それら音声波形の端同士は加算されて平均化される。
【００４６】
以上に説明した図５の素片選択処理では、素片選択部１５は、先行素片候補α１〜αＭと後続素片候補β１〜βＫとの組み合わせの中から、カテゴリ間の尺度に基づいて１組以上の組み合わせ候補を抽出する（ステップＳＴ２１〜ＳＴ２６）。よって、音声波形生成部１６は、多種多様な組み合わせ候補の中から接続性の良好な１組を選択することができる（ステップＳＴ２７）。
【００４７】
図６Ａ及び図６Ｂは、「晴れですが、見えないでしょう。」とのテキスト情報及びピッチパターンの例を示す図である。このテキスト情報では、「晴れですが」との先行フレーズに対応する素片候補のカテゴリが「逆接」に分類される一方で、「見えないでしょう。」との後続フレーズに対応する素片候補のフレーズ境界パターンとしては、図６Ａに示す「順接」と図６Ｂに示す「逆接」という２種類のカテゴリが存在し得る。また、図７Ａ及び図７Ｂは、「晴れでしか、見えないでしょう。」とのテキスト情報及びピッチパターンの例を示す図である。このテキスト情報では、「晴れでしか」との先行フレーズに対応する素片候補のカテゴリが「限定」に分類される一方で、「見えないでしょう。」との後続フレーズに対応する素片候補のフレーズ境界パターンとしては、図７Ａに示す「順接」と図７Ｂに示す「限定」という２種類のカテゴリが存在し得る。更に、図８Ａ及び図８Ｂは、「晴れなので、見えないでしょう。」とのテキスト情報及びピッチパターンの例を示す図である。このテキスト情報では、「晴れなので」との先行フレーズに対応する素片候補のカテゴリが「順接」に分類される一方で、「見えないでしょう。」との後続フレーズに対応する素片候補のフレーズ境界パターンとしては、図８Ａに示す「順接」と図８Ｂに示す「強調」という２種類のカテゴリが存在し得る。
【００４８】
このように先行フレーズと後続フレーズとの間の音響特徴の境界付近では、カテゴリの組み合わせ候補が複数存在する場合がある。図９は、ピッチ平均値及びポーズ時間長という２つの音響特徴パラメータで形成される空間におけるカテゴリＣ１，Ｃ２，Ｄ１〜Ｄ４の配置を概念的に示す図である。図９の例では、「並列」のカテゴリＣ１を持つ先行素片は、「強調」，「限定」及び「逆接」のカテゴリＤ１〜Ｄ３を持つ後続素片とともに組み合わせ候補を構成している。また、「順接」のカテゴリＣ２を持つ先行素片は、「単独」のカテゴリＤ４を持つ後続素片とともに組み合わせ候補を構成している。本実施の形態の音声合成装置１は、カテゴリ間の尺度に基づいて、そのような組み合わせ候補を抽出することができる。したがって、それら組み合わせ候補の中から接続性の良好な最適な１組を選択することが可能である。
【００４９】
上記音声合成装置１のハードウェア構成は、たとえば、パーソナルコンピュータ、ワークステーションまたはメインフレームなどのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）内蔵のコンピュータで実現可能である。あるいは、上記音声合成装置１のハードウェア構成は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などのＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）により実現されてもよい。
【００５０】
図１０は、音声合成装置１のハードウェア構成例である情報処理装置３の構成を概略的に示すブロック図である。図１０の例では、情報処理装置３は、ＣＰＵまたはＤＳＰなどのＬＳＩを含むプロセッサ３０、メモリ３１、センサインタフェース部３２、テキスト入力インタフェース部３３、表示インタフェース部３４及び音声インタフェース部３５を備えている。プロセッサ３０、センサインタフェース部３２、テキスト入力インタフェース部３３、表示インタフェース部３４及び音声インタフェース部３５は、信号路３６を介して相互に接続されている。
【００５１】
プロセッサ３０は、上記した言語解析部１１、素片候補選択部１４、素片選択部１５及び音声波形生成部１６の機能を実現するハードウェアである。また、センサインタフェース部３２及びテキスト入力インタフェース部３３は、入力部１０に相当し、マウス、キーボード、タッチパネル、加速度センサ及び撮像カメラなどの外部デバイスに対するインタフェースを構成することができる。表示インタフェース部３４は、入力部１０に入力されたテキスト情報及び出力部１７の出力内容をディスプレイ装置に表示させるために使用することができる。また、音声インタフェース部３５は、入力部１０が音声入力機能を有する場合にマイクに対するインタフェースとして機能することができ、また、合成音声波形を示す音声データをスピーカから出力する場合の当該スピーカに対するインタフェースとして機能することができる。
【００５２】
メモリ３１は、データ記憶部２０として使用可能である。メモリ３１としては、たとえば、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）などの揮発性メモリ、及び、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（ハードディスクドライブ）もしくはＳＳＤ（ソリッドステートドライブ）などの不揮発性メモリを含む記録媒体を使用すればよい。プロセッサ３０は、メモリ３１に記録されているコンピュータ・プログラムを読み出し、このコンピュータ・プログラムに従って動作することにより、言語解析部１１、素片候補選択部１４、素片選択部１５及び音声波形生成部１６の機能を実現することができる。
【００５３】
また、入力部１０における入力方法が、音声認識、ジェスチャ認識または視線認識などのセンサ認識を使用する場合には、メモリ３１は、そのセンサ認識用の処理プログラムを記憶することが可能である。出力部１７における出力方法が、スピーカーによる音声再生またはストリームデータによる音声データ配信を行う場合には、メモリ３１は、そのための処理プログラムを記憶することが可能である。
【００５４】
なお、図１０において、メモリ３１は、情報処理装置３の内部に配置されている。この代わりに、情報処理装置３は、ＵＳＢ（ユニバーサルシリアルバス）メモリなどの可搬性メモリを着脱自在に接続可能なメモリ・インタフェースを有していてもよい。これにより、言語辞書２１、素片辞書２２及びパターン辞書２３が記憶された可搬性メモリを情報処理装置３に接続することができる。あるいは、情報処理装置３は、メモリ３１に加えて、そのメモリ・インタフェースを有していてもよい。
【００５５】
以上に説明したように実施の形態１の音声合成装置１では、素片候補選択部１４は、中間言語情報に基づいて先行素片候補α１〜αＭと後続素片候補β１〜βＫとを選択する（図５のステップＳＴ２１）。素片選択部１５は、先行素片候補α１〜αＭと後続素片候補β１〜βＫとの組み合わせの中から、尺度に基づいて１組以上の組み合わせ候補を絞り込んでいる（ステップＳＴ２１〜ＳＴ２６）。そして、音声波形生成部１６は、それらの多様な組み合わせ候補の中から接続性の良好な１組を選択することができる（ステップＳＴ２７）。これにより、音響特徴の接続性を良好にすることが可能となる。また、音響特徴の接続性が良好になるので、韻律加工（ステップＳＴ１３）による音質劣化が抑制されるという効果が得られる。したがって、韻律などの音響特徴の多様な制御を実行することができ、合成音声の音質劣化を軽減することができる。
【００５６】
ところで、図５の素片選択処理では、図２Ａに示した辞書データＤＴａ内の候補カテゴリ同士の尺度を参照し、先行素片候補α１〜αＭの各先行素片候補αｉについて、後続素片候補β１〜βＫの中から後続素片候補βｊを選択することによって組み合わせ候補（αｉ，βｊ）が抽出されている（ステップＳＴ２２〜ＳＴ２４）。この場合、図２Ｂに示した辞書データＤＴｂは不要である。この代わりに、図２Ｂに示した辞書データＤＴｂ内の候補カテゴリ同士の尺度を参照し、後続素片候補β１〜βＫの各先行素片候補βｉについて、先行素片候補α１〜αＭの中から先行素片候補βｊを選択することによって組み合わせ候補（βｉ，αｊ）が抽出されてもよい。この場合、図２Ａに示した辞書データＤＴａは不要となる。
【００５７】
また、素片辞書２２には、人間の発声データを基に生成された韻律パターンが音響特徴情報の一部として予め格納されていることが望ましい。この場合、音声波形生成部１６は、素片辞書２２内の韻律パターンを合成音声波形に反映させることができるので、自然性の高い合成音声を得ることができる。ここで、韻律パターンは、たとえば、各素片候補の基本周波数（ピッチ）、継続時間及びパワーなどの音響特徴パラメータである。
【００５８】
実施の形態２．
次に、本発明に係る実施の形態２について説明する。図１１は、実施の形態２である音声合成装置２の概略構成を示すブロック図である。
【００５９】
図１１に示されるように、この音声合成装置２は、読み上げられるべき内容を示すテキスト情報が入力される入力部１０と、そのテキスト情報の言語解析を実行して表音記号を含む中間言語情報を生成する言語解析部１１と、その中間言語情報に含まれる各言語単位の韻律的特徴などの音響特徴を示す音響特徴パターンを生成する韻律生成部１２と、その音響特徴パターンに基づいて各言語単位の音響特徴を分類するカテゴリを決定するフレーズ境界パターン決定部１３と、中間言語情報及び音響特徴パターンに基づいて複数の素片候補を選択する素片候補選択部１４Ａと、当該複数の素片候補の中から音声合成で使用される素片を選択する素片選択部１５Ａと、当該選択された素片の音響特徴情報に韻律加工及び波形接続処理を施して合成音声波形を示す音声データを生成する音声波形生成部１６と、その音声データを外部に出力する出力部１７と、各種辞書２１〜２５が予め記憶されたデータ記憶部２０とを備えている。
【００６０】
図１１に示される入力部１０、言語解析部１１、音声波形生成部１６及び出力部１７の構成は、それぞれ、上記実施の形態１の入力部１０、言語解析部１１、音声波形生成部１６及び出力部１７の構成と同じである。また、図１１に示される言語辞書２１及び素片辞書２２の内容も、それぞれ、上記実施の形態１の言語辞書２１及び素片辞書２２の内容と同じである。
【００６１】
韻律生成部１２は、韻律辞書２４を参照して各言語単位の韻律的特徴などの音響特徴を示す音響特徴パターンを推定することができる。韻律辞書２４には、複数の言語単位の音響特徴パターンが記憶されている。その音響特徴パターンは、音韻情報、アクセント型及び呼気内モーラ数などの言語情報と、当該言語情報に対応するピッチパターン、時間長及び振幅などの音響特徴を示す音響特徴パラメータとで構成されている。後述するように、音響特徴の境界を形成する一対の先行フレーズ及び後続フレーズが入力された場合には、韻律生成部１２は、韻律辞書２４を参照して先行フレーズ及び後続フレーズのそれぞれの音響特徴パターンを推定する。これら音響特徴パターンはターゲット韻律情報として利用される。この種のターゲット韻律情報は、たとえば、特開平１−２８４８９８号公報に開示されている技術を利用して生成されてもよい。
【００６２】
なお、本実施の形態の韻律生成部１２によって本発明の音響特徴生成部を構成することが可能である。また、韻律辞書２４は、上記の韻律的特徴に限らず、音色または声調などの音響特徴を示す情報を音響特徴パターンとして記憶していてもよい。
【００６３】
フレーズ境界パターン決定部１３は、フレーズ境界パターン辞書２５及びターゲット韻律情報を用いて、当該先行フレーズ及び当該後続フレーズのそれぞれの音響特徴を分類するカテゴリを決定する。フレーズ境界パターン辞書２５には、ターゲット韻律情報とカテゴリとの対応関係を定めるデータが格納されているので、フレーズ境界パターン決定部１３は、フレーズ境界パターン辞書２５を参照することで、ターゲット韻律情報（音響特徴パターン）に対応するカテゴリを決定することができる。
【００６４】
素片候補選択部１４Ａは、フレーズ境界パターン決定部１３で決定されたカテゴリを目標カテゴリとして利用し、素片辞書２２及びフレーズ境界パターン辞書２３Ａを参照して、当該中間言語情報に含まれる各言語単位（たとえば、フレーズ）について単数または複数の素片候補からなる素片候補群を選択する。図１１の素片辞書２２の構成は、上記実施の形態１の素片辞書２２の構成と同じである。また、フレーズ境界パターン辞書２３Ａ（以下、単に「パターン辞書２３Ａ」ともいう。）の構成は、上記実施の形態１のパターン辞書２３の構成と実質的に同じである。素片候補選択部１４Ａの機能の詳細については後述する。
【００６５】
素片選択部１５Ａは、素片辞書２２及びパターン辞書２３Ａを用いて、素片候補選択部１４Ａで選択された素片候補群の中から、音声合成処理で接続されるべき素片を選択し、当該選択された素片の音響特徴情報を音声波形生成部１６に供給する機能を有する。素片選択部１５Ａの機能の詳細については後述する。
【００６６】
音声波形生成部１６は、素片選択部１５Ａで選択された素片に韻律加工及び波形接続処理を施して合成音声波形を示す音声データを生成する。出力部１７は、その音声データを外部に出力する。
【００６７】
次に、図１２及び図１３を参照しつつ、音声合成装置２の動作について説明する。図１２は、実施の形態２に係る音声合成処理の手順の一例を概略的に示すフローチャートであり、図１３は、図１２に示される素片選択処理（ステップＳＴ３４）の手順の一例を概略的に示すフローチャートである。図１２及び図１３は、入力された中間言語情報が、音響特徴の境界を形成する一対の先行フレーズ及び後続フレーズを含む場合の処理手順を示している。
【００６８】
図１２に示されるように、音声合成装置２は、外部からテキスト情報が入力されるまで待機している（ステップＳＴ３０のＮＯ）。外部からテキスト情報が入力されると（ステップＳＴ３０のＹＥＳ）、言語解析部１１は、入力部１０を介して入力されたテキスト情報に対し、言語辞書２１を用いた言語解析を実行して中間言語情報を生成する（ステップＳＴ３１）。
【００６９】
次に、韻律生成部１２は、上述したように、韻律辞書２４を参照して、先行フレーズ及び後続フレーズのそれぞれの音響特徴パターンをターゲット韻律情報として生成する（ステップＳＴ３２）。そして、フレーズ境界パターン決定部１３は、フレーズ境界パターン辞書２５を参照し、先行フレーズの音響特徴パターンに基づいて、当該先行フレーズのフレーズ境界パターンであるカテゴリを決定するとともに、後続フレーズの音響特徴パターンに基づいて、当該後続フレーズのフレーズ境界パターンであるカテゴリを決定する（ステップＳＴ３３）。
【００７０】
ステップＳＴ３３の具体的な処理内容は、以下の通りである。フレーズ境界パターン決定部１３は、韻律生成部１２から、当該先行フレーズのターゲット韻律情報と当該後続フレーズのターゲット韻律情報との供給を受けている。また、フレーズ境界パターン辞書２５には、参照用韻律情報とカテゴリとの対応関係を定めるデータが格納されている。よって、韻律生成部１２は、ターゲット韻律情報に含まれる音響特徴パラメータと参照用韻律情報に含まれる音響特徴パラメータとを用いて尺度を算出することができる。この尺度の算出は、たとえば、上式（１）を用いて実行することが可能である。韻律生成部１２は、尺度の最も大きい参照用韻律情報に対応するカテゴリを、当該先行フレーズまたは後続フレーズのフレーズ境界パターンとして決定することができる（ステップＳＴ３３）。
【００７１】
なお、音声合成装置２の入力部１０は、外部から中間処理情報が直接入力される構成を有していてもよい。この場合には、音声合成装置２は、言語解析部１１を有する必要はない。また、図１２のフローチャートにおいては、ステップＳＴ３１は不要である。
【００７２】
その後、素片選択処理（ステップＳＴ３４）が実行される。図１３を参照すると、素片候補選択部１４Ａは、素片辞書２２を参照し、入力された中間言語情報に基づいて素片候補群を選択する（ステップＳＴ４１）。ここで、入力された中間言語情報は、音響特徴の境界を形成する一対のフレーズを含むので、素片候補選択部１４Ａは、素片辞書２２を用いて、当該一対のフレーズのうちの先行フレーズに対応する素片候補α１，α２，…，αＭ（以下、先行素片候補α１〜αＭともいう。）からなる素片候補群｛αｍ｝を選択するとともに、その後続フレーズに対応する素片候補β１，β２，…，βＫ（以下、後続素片候補α１〜αＫともいう。）からなる素片候補群｛βｋ｝を選択する。ここで、Ｍ，Ｋは、正整数である。素片辞書２２では、素片候補α１〜αＭの各々に少なくとも１つのカテゴリが割り当てられており、素片候補β１〜βＫの各々に少なくとも１つのカテゴリが割り当てられている。
【００７３】
次に、素片候補選択部１４Ａは、ステップＳＴ３３で決定されたフレーズ境界パターン（ターゲット韻律情報に対応するフレーズ境界パターン）をそれぞれ目標カテゴリに設定する（ステップＳＴ４２）。
【００７４】
続いて、素片候補選択部１４Ａは、当該先行フレーズの目標カテゴリと先行素片候補α１〜αＭのカテゴリとの間の尺度に基づいて、先行素片候補α１〜αＭの中から少なくとも１個の素片候補からなる中間素片候補群｛αｐ｝を抽出するとともに、当該後続フレーズの目標カテゴリと後続素片候補β１〜βＫのカテゴリとの間の尺度に基づいて、後続素片候補β１〜βＭの中から少なくとも１個の素片候補からなる中間素片候補群｛βｑ｝を抽出する（ステップＳＴ４３）。ここで、実施の形態１のパターン辞書２３と同様に、パターン辞書２３Ａは、２種類のフレーズ境界パターン（候補カテゴリ）同士の尺度を複数定める辞書データが格納されている。素片候補選択部１４Ａは、パターン辞書２３Ａを参照して、たとえば、先行素片候補α１〜αＭの中から、尺度の大きい方から順に所定個数の素片候補を選択することにより中間素片候補群｛αｐ｝を抽出することができる。後続素片候補β１〜βＫについても、素片候補選択部１４Ａは、パターン辞書２３Ａを参照して、これら後続素片候補β１〜βＫの中から、尺度の大きい方から順に所定個数の素片候補を選択することにより中間素片候補群｛βｑ｝を抽出することができる。
【００７５】
その後、素片選択部１５Ａは、中間素片候補群｛αｐ｝の中から一の先行素片候補αｉを選択する（ステップＳＴ４４）。ｉは、先行素片候補αｉの識別番号であり、今の場合、たとえばｉ＝１である。続けて、素片選択部１５Ａは、当該先行素片候補αｉのカテゴリを目標カテゴリに設定する（ステップＳＴ４５）。これにより、中間素片候補群｛βｑ｝を構成する後続素片候補のそれぞれのカテゴリが候補カテゴリに設定される。
【００７６】
次に、素片選択部１５Ａは、パターン辞書２３Ａを参照して、中間素片候補群｛βｑ｝を構成する後続素片候補の候補カテゴリ同士の尺度に基づき、先行素片候補αｉについて、中間素片候補群｛βｑ｝の中から少なくとも１個の後続素片候補βｊを抽出する（ステップＳＴ４６）。ここでは、素片選択部１５Ａは、上記ステップＳＴ２４（図５）の場合と同様に、図２Ａに示した辞書データＤＴａにおける候補カテゴリ同士の尺度を参照して、少なくとも１個の後続素片候補βｊを抽出すればよい。これにより、先行素片候補αｉと後続素片候補βｊとの組み合わせ候補（αｉ，βｊ）が少なくとも１組生成される。この組み合わせ候補（αｉ，βｊ）と当該組み合わせ候補（αｉ，βｊ）の音響特徴情報とは、音声波形生成部１６に供給される。
【００７７】
その後、未選択の先行素片候補が有ると判定した場合には（ステップＳＴ４７のＹＥＳ）、素片選択部１５Ａは、識別番号ｉを変更して（たとえば、ｉを１から２に変更して）新たな先行素片候補αｉを選択し（ステップＳＴ４８）、この先行素片候補αｉについて上記ステップＳＴ４５〜ＳＴ４６を実行する。この結果、先行素片候補αｉと後続素片候補βｊとの新たな組み合わせの候補（αｉ，βｊ）が少なくとも１組生成される。この新たな組み合わせ候補（αｉ，βｊ）と当該新たな組み合わせ候補（αｉ，βｊ）の音響特徴情報とは、音声波形生成部１６に供給される。
【００７８】
最終的に、未選択の先行素片候補が無いと判定した場合には（ステップＳＴ４７のＮＯ）、音声波形生成部１６は、所定の波形接続アルゴリズムに従い、基本周波数、パワー、継続長及び短時間振幅スペクトルなどの音響特徴パラメータを用いて、上記した組み合わせ候補（先行素片候補と後続素片候補との組の候補）の中から、音声波形の接続性を良好にする最適な組み合わせを選択する（ステップＳＴ４９）。波形接続アルゴリズムは、特に制限されるものではないが、たとえば、特開２０１３−１５６４７２号公報に開示されている公知の波形接続アルゴリズムが使用されればよい。
【００７９】
その後、図１２を参照すると、音声波形生成部１６は、素片選択部１５Ａで選択された組み合わせの素片の音響特徴情報に韻律加工を実行し（ステップＳＴ３５）、更に、その韻律加工の結果得られた、先行素片及び後続素片の音響特徴情報に基づいて合成音声波形を示す音声データを生成する（ステップＳＴ３６）。その後、出力部１７は、その音声データを外部に出力する（ステップＳＴ３７）。
【００８０】
以上に説明したように実施の形態２の音声合成装置２では、素片候補選択部１４Ａは、ターゲット韻律情報に対応するフレーズ境界パターンを用いて、先行素片候補α１〜αＭの中から中間素片候補群｛αｐ｝を抽出するとともに、後続素片候補β１〜βＫの中から中間素片候補群｛βｑ｝を抽出している（図１３のステップＳＴ４２，ＳＴ４３）。また、素片選択部１５Ａは、当該中間素片候補群｛αｐ｝を構成する先行素片候補と当該中間素片候補群｛βｑ｝を構成する後続素片候補との組み合わせの中から、尺度に基づいて１組以上の組み合わせ候補を絞り込んでいる（ステップＳＴ４４〜ＳＴ４８）。そして、音声波形生成部１６は、それらの多様な組み合わせ候補の中から接続性の良好な１組を選択することができる（ステップＳＴ４９）。これにより、上記実施の形態１の場合と比べると、音響特徴の接続性を更に良好にすることが可能となる。また、音響特徴の接続性が良好になるので、韻律加工（図１２のステップＳＴ３５）による音質劣化が抑制されるという効果が得られる。したがって、音響特徴の多様な制御を実行することができ、合成音声の音質劣化を軽減することができる。
【００８１】
ところで、図１２の素片選択処理では、中間素片候補群｛αｐ｝を構成する各先行素片候補αｉについて、中間素片候補群｛βｑ｝の中から後続素片候補βｊを選択することによって組み合わせ候補（αｉ，βｊ）が抽出されている（ステップＳＴ４４〜ＳＴ４６）。この場合、図２Ａに示した辞書データＤＴａが参照されるので、図２Ｂに示した辞書データＤＴｂは不要である。この代わりに、図２Ｂに示した辞書データＤＴｂ内の候補カテゴリ同士の尺度を参照し、中間素片候補群｛βｑ｝を構成する各後続素片候補βｉについて、中間素片候補群｛αｐ｝の中から先行素片候補αｊを選択することによって組み合わせ候補（βｉ，αｊ）が抽出されてもよい。
【００８２】
なお、言語解析部１１で生成される中間言語情報がフレーズ境界パターンを指定する記号（以下「フレーズ境界記号」ともいう。）を含んでいてもよい。この場合、フレーズ境界パターンごとに異なるフレーズ境界記号を設けることが可能である。図１４Ａは、入力テキスト情報の例を示し、図１４Ｂは、この入力テキスト情報に対応するピッチパターンを示し、図１４Ｃは、フレーズ境界記号を含む中間言語情報の例を示す図である。図１４Ｃに示されるように、フレーズ境界記号”＠ｊｕｎ”，”＠ｇｙａｋｕ”が挿入されている。すなわち、「寒いが」と「晴れていて」との間において、呼気フレーズ区切りを表す記号”,”の前に「順接」を示す”＠ｊｕｎ”が挿入されている。また、「暑いが」と「雨である」との間において、アクセントフレーズ区切りを表す記号”/”の前に「逆接」を示す”＠ｇｙａｋｕ”が挿入されている。フレーズ境界記号”＠ｊｕｎ”は、フレーズ「今日は寒いが」の音響特徴情報を示し、フレーズ境界記号”＠ｇｙａｋｕ”は、フレーズ「明日は暑いが」の音響特徴情報を示している。フレーズ境界パターン決定部１３は、これらフレーズ境界記号で示される音響特徴情報をターゲット韻律（目標韻律）情報として利用してカテゴリを決定することができる。
【００８３】
また、本実施の形態の音声合成装置２のハードウェア構成は、上記実施の形態１の場合と同様に、図１０に示した情報処理装置３によって実現可能である。
【００８４】
以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これら実施の形態は本発明の例示であり、これら実施の形態以外の様々な形態を採用することもできる。
なお、本発明の範囲内において、実施の形態１，２の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００８５】
１，２  音声合成装置、３  情報処理装置、１０  入力部、１１  言語解析部、１２  韻律生成部、１３  フレーズ境界パターン決定部、１４，１４Ａ  素片候補選択部、１５，１５Ａ  素片選択部、１６  音声波形生成部、１７  出力部、２０  データ記憶部、２１  言語辞書、２２  素片辞書、２３，２３Ａ  フレーズ境界パターン辞書、２４  韻律辞書、２５  フレーズ境界パターン辞書、３０  プロセッサ、３１  メモリ、３２  センサインタフェース部、３３  テキスト入力インタフェース部、３４  表示インタフェース部、３５  音声インタフェース部、３６  信号路。
【図１】
0006469035.tif 000003
【図２】
0006469035.tif 000004
【図３】
0006469035.tif 000005
【図４】
0006469035.tif 000006
【図５】
0006469035.tif 000007
【図６】
0006469035.tif 000008
【図７】
0006469035.tif 000009
【図８】
0006469035.tif 000010
【図９】
0006469035.tif 000011
【図１０】
0006469035.tif 000012
【図１１】
0006469035.tif 000013
【図１２】
0006469035.tif 000014
【図１３】
0006469035.tif 000015
【図１４】
0006469035.tif 000016