(57)【要約】【課題】高品質な合成音声を作成することのできる音声合成装置を得る。【解決手段】候補音声素片系列作成部１は、入力言語情報系列１０１に対して、音声素片データベース４のＤＢ音声素片１０５を用いて候補音声素片系列１０２を作成する。出力音声素片系列決定部２は、入力言語情報系列１０１に候補音声素片系列１０２が適合する度合いを、入力言語情報系列１０１と、候補音声素片系列１０２における複数の候補音声素片それぞれの属性を示す音声パラメータとの共起条件１０６に応じた値を示すパラメータ１０７を用いて計算し、適合する度合いに基づいて出力音声素片系列１０３を決定する。【選択図】図１
2015064482.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声単位の時間系列である入力言語情報系列に対して、音声素片の時間系列を蓄積する音声素片データベースを参照して候補音声素片系列を作成する候補音声素片系列作成部と、
前記入力言語情報系列に前記候補音声素片系列が適合する度合いを、前記入力言語情報系列と、前記候補音声素片系列における複数の候補音声素片それぞれの属性を示す音声パラメータとの共起条件に応じた値を示すパラメータを用いて計算し、前記適合する度合いに基づいて出力音声素片系列を決定する出力音声素片決定部と、
前記出力音声素片系列に対応した前記音声素片を接続して音声波形を作成する波形素片接続部とを備えた音声合成装置。
【請求項２】
前記出力音声素片系列決定部は、
前記音声素片データベースにおける前記音声素片の時間系列を前記入力言語情報系列とみなして、当該みなした時間系列に対応する複数の候補音声素片系列を作成し、当該作成した複数の候補音声素片系列のうち、前記みなした時間系列と同じ系列であった場合に、前記パラメータを大きな値にするか、または、前記みなした時間系列と異なる系列であった場合に前記パラメータを小さな値とするかのうち、少なくともいずれかを用いて計算することを特徴とする請求項１記載の音声合成装置。
【請求項３】
前記出力音声素片系列決定部は、
前記音声素片データベースにおける前記音声素片の時間系列を前記入力言語情報系列とみなして、当該みなした時間系列に対応する複数の候補音声素片系列を作成し、当該作成した複数の候補音声素片系列のうち、前記みなした時間系列中のそれぞれの音声素片の聴感上の重要度の値と、前記候補音声素片系列における、対象とする音声素片を含み、かつ、連続する複数の音声素片の時間系列である言語環境と、前記みなした時間系列における前記言語環境との類似の度合いが大きい場合に、前記パラメータを請求項１または請求項２のパラメータより大きな値として計算を行うことを特徴とする請求項１または請求項２記載の音声合成装置。
【請求項４】
前記出力音声素片系列決定部は、
請求項１に記載のパラメータに代えて、
前記入力言語情報系列に前記候補音声素片系列が適合する度合いを、前記入力言語情報系列と、前記候補音声素片系列における複数の候補音声素片それぞれの属性を示す音声パラメータとの共起条件を満たすときに０以外の固定値であり、そうでないときに０値にとなる素性関数を用いた確率場モデルに基づき得られたパラメータを用いて計算することを特徴とする請求項１記載の音声合成装置。
【請求項５】
共起条件は、前記候補音声素片系列における複数の候補音声素片それぞれの音声パラメータの値の演算結果が特定の値となる条件であることを特徴とする請求項１から請求項４のうちのいずれか１項記載の音声合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力言語情報の時間系列に対応して音声素片を合成し、合成音声を生成する音声合成装置に関する。
【背景技術】
【０００２】
大容量の音声データベースに基づく音声合成方式において、先見的な知識に基づいて決定された物理的パラメータを組み合わせた尺度の代わりに、音声認識等で用いられているＨＭＭ（Hidden Markov Model）に基づく統計的な尤度を尺度として用いることで、ＨＭＭに基づく合成方式の確率尺度に基づく合理性と音声品質の均一性の長所と、大容量の音声データベースに基づく音声合成方式の高品質という長所を合わせもつ、高品質かつ均質な合成音声の実現を目的とした音声合成方法が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１では、音韻別に状態遷移ごとの音響パラメータ（線形予測係数やケプストラムなど）系列を出力する確率を示す音響モデルと、韻律別に状態遷移ごとの韻律パラメータ（基本周波数など）系列を出力する確率を示す韻律モデルを用いて、入力テキストに対する音韻系列を構成する各音韻に対応する状態遷移ごとの音響パラメータ系列の音響的尤度と、入力テキストに対する韻律系列を構成する各韻律に対応する状態遷移ごとの韻律パラメータ系列の韻律的尤度とによって音声素片コストを計算し、音声素片を選択するものであった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２３３７７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような従来の音声合成方法では、音声素片の選択にとって音韻別をどのように決めるかを決定することが難しく、適切な音韻別の音響モデルが得られず、音響パラメータ系列を出力する確率を適切に求めることができないという問題があった。また、韻律についても同様に、韻律別をどのように決めるかを決定することが難しく、適切な韻律別の韻律モデルが得られず、韻律パラメータ系列を出力する確率を適切に求めることができない問題があった。
【０００６】
また、従来の音声合成方法では、音韻別の音響モデルによって音響パラメータ系列の確率を計算するため、音韻別の音響モデルは、韻律パラメータ系列に依存する音響パラメータ系列について適切なモデルとならず、音響パラメータ系列を出力する確率を適切に求めることができないという問題があった。また、韻律についても同様に、韻律別の韻律モデルによって韻律パラメータ系列の確率を計算するため、韻律別の韻律モデルは、音響パラメータ系列に依存する韻律パラメータ系列について適切な韻律モデルとならず、韻律パラメータ系列を出力する確率を適切に求めることができないという問題があった。
【０００７】
また、従来の音声合成方法では、入力テキストに対応する音韻系列（音韻ごとのパワー、音韻長、基本周波数）を設定し、音韻別に状態遷移ごとの音響パラメータ系列を出力する音響モデル記憶手段を用いることが特許文献１には述べられているが、このような手段を用いた場合、音韻系列の設定の精度が低いと適切な音響モデルを選択できないという問題があった。また、音韻系列の設定が必要であり、動作が煩雑になる問題もあった。
【０００８】
また、従来の音声合成方法では、音響パラメータ系列や韻律パラメータ系列などの音声パラメータ系列を出力する確率に基づいて音声素片コストを計算しており、音声パラメータの聴覚的な重要さを加味した音声素片コストとなっておらず、得られる音声素片は聴覚的に不自然となるという問題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、高品質な合成音声を作成することのできる音声合成装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る音声合成装置は、入力された音声単位の時間系列である入力言語情報系列に対して、音声素片の時間系列を蓄積する音声素片データベースを参照して候補音声素片系列を作成する候補音声素片系列作成部と、入力言語情報系列に候補音声素片系列が適合する度合いを、入力言語情報系列と、候補音声素片系列における複数の候補音声素片それぞれの属性を示す音声パラメータとの共起条件に応じた値を示すパラメータを用いて計算し、適合する度合いに基づいて出力音声素片系列を決定する出力音声素片決定部と、出力音声素片系列に対応した音声素片を接続して音声波形を作成する波形素片接続部とを備えたものである。
【発明の効果】
【００１１】
この発明の音声合成装置は、入力言語情報系列に候補音声素片系列が適合する度合いを、入力言語情報系列と、候補音声素片系列における複数の候補音声素片それぞれの属性を示す音声パラメータとの共起条件に応じた値を示すパラメータを用いて計算し、適合する度合いに基づいて出力音声素片系列を決定するようにしたので、高品質な合成音声を作成することができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１〜５による音声合成装置を示す構成図である。
【図２】この発明の実施の形態１〜５による音声合成装置の入力言語情報系列を示す説明図である。
【図３】この発明の実施の形態１〜５による音声合成装置の音声素片データベースを示す説明図である。
【図４】この発明の実施の形態１〜５による音声合成装置のパラメータ辞書を示す説明図である。
【図５】この発明の実施の形態１〜５による音声合成装置の動作を示すフローチャートである。
【図６】この発明の実施の形態１による音声合成装置の入力言語情報系列と候補音声素片系列の一例を示す説明図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、この発明の実施の形態１による音声合成装置を示す構成図である。
図１に示す音声合成装置は、候補音声素片系列作成部１、出力音声素片系列決定部２、波形素片接続部３、音声素片データベース４、パラメータ辞書５を備えている。
候補音声素片系列作成部１では、音声合成装置への入力となる入力言語情報系列１０１と音声素片データベース４のＤＢ音声素片１０５を組み合わせて、候補音声素片系列１０２を作成する。出力音声素片系列決定部２では、入力言語情報系列１０１と候補音声素片系列１０２とパラメータ辞書５を参照し、出力音声素片系列１０３を作成する。波形素片接続部３では、出力音声素片系列１０３を参照し、音声合成装置６の出力となる音声波形１０４を作成する。
【００１４】
入力言語情報系列１０１は、入力言語情報の時間系列である。入力言語情報は、作成する音声波形の言語内容を表す音韻と音高などの記号で構成する。
図２に、入力言語情報系列の例を示す。この例は、作成する音声波形「湖」（みずうみ）を表す入力言語情報系列であり、７つの入力言語情報の時間系列である。
例えば、第１の入力言語情報は、音韻がｍであり、音高がＬであることを示し、第３の入力言語情報は、音韻がｚであり、音高がＨであることを示している。ここで、ｍは、「湖」の先頭の「み」の子音を表す記号である。音高Ｌは、音の高さが低いことを示す記号であり、音高Ｈは、音の高さが高いことを示す記号である。入力言語情報系列１０１は、人手で作成してもよいし、従来の一般的な言語解析技術を用いて、作成する音声波形の言語内容を表すテキストを自動解析することで機械的に作成してもよい。
【００１５】
音声素片データベース４は、ＤＢ音声素片系列を記憶するデータベースである。ＤＢ音声素片系列は、ＤＢ音声素片１０５の時間系列である。ＤＢ音声素片１０５は、波形素片とＤＢ言語情報と音声パラメータとで構成される。
波形素片は、音圧信号系列である。音圧信号系列は、ナレータなどが発声した音声をマイクロホンなどで記録した音圧に関する信号の時間系列の断片である。尚、波形素片を記録する形式は、従来の一般的な信号圧縮技術によってデータ量を圧縮した形式としてもよい。
ＤＢ言語情報は、波形素片を表す記号で、音韻と音高などで構成する。音韻は、波形素片の音の種類（読み）を表す音素記号などである。音高は、波形素片の音の高さを抽象化して表すＨ（高い）やＬ（低い）などの記号である。
音声パラメータは、スペクトルや基本周波数や継続長などの波形素片を分析して得られる情報と、言語環境とで構成され、各音声素片の属性を表す情報である。
【００１６】
スペクトルは、音圧信号系列を周波数分析して得られる周波数帯域ごとの振幅の大きさや位相を表す値である。
基本周波数は、音圧信号系列を分析して得られる声帯の振動周波数である。
継続長は、音圧信号系列の時間長である。
言語環境は、当該のＤＢ言語情報に先行または後続などする複数のＤＢ言語情報で構成する記号である。具体的には、言語環境は、当該のＤＢ言語情報に先々行するＤＢ言語情報と、先行するＤＢ言語情報と、後続するＤＢ言語情報と、後々続するＤＢ言語情報とで構成する。当該が音声の先頭や末尾の場合、先行するＤＢ言語情報や後続するＤＢ言語情報は、アスタリスク（＊）などの記号で表現する。
尚、音声パラメータは、上記の他に、スペクトルの時間変化を表す特徴量や、ＭＦＣＣ（Mel Frequency Cepstral Coefficient：メル周波数ケプストラム）など、音声素片の選択のために用いられる従来の特徴量であってもよい。
【００１７】
図３に、音声素片データベース４の例を示す。この音声素片データベース４は、番号３０１、ＤＢ言語情報３０２、音声パラメータ３０３、波形素片３０４で構成されるＤＢ音声素片１０５の時間系列を記憶するデータベースである。番号３０１は、ＤＢ音声素片を識別しやすくするために付与した番号である。
波形素片３０４の音圧信号系列は、ナレータが発声した第１音声「みず」、第２音声「きぜ…」、…をマイクロホンなどで記録した音圧に関する信号の時間系列の断片である。番号３０１が１の音圧信号系列は、第１音声「みず」の先頭部分に対応する断片である。
ＤＢ言語情報３０２は、スラッシュを間に挟んだ音韻と音高を表している。音韻は、ｍ，ｉ，ｚ，ｕ，ｋ，ｉ，ｚ，ｅ，…であり、音高はＬ，Ｌ，Ｈ，Ｈ，Ｌ，Ｌ，Ｈ，Ｈ，…である。例えば、番号３０１が１の音韻ｍは、第１音声「みず」の「み」の子音に対応する音の種類（読み）を表す記号であり、番号３０１が１の音高Ｌは、第１音声「みず」の「み」の子音に対応する音の高さを表す記号である。
【００１８】
音声パラメータ３０３は、スペクトル３０５と、スペクトル時間変化３０６と、基本周波数３０７と、継続長３０８と、言語環境３０９とで構成する例を示している。
スペクトル３０５は、音圧信号系列の左端（時刻的に前）と右端（時刻的に後）の付近の信号についてそれぞれ、１０個の周波数帯域における振幅値を１〜１０の１０段階に量子化した値で構成する。
スペクトル時間変化３０６は、音圧信号系列の左端（時刻的に前）の断片において、１０個の周波数帯域における振幅値の時間変化を−１０〜１０の２１段階に量子化した値で構成する。
また、基本周波数３０７は、有声音では１から１０の１０段階に量子化した値で表現し、無声音では０で表現する。
また、継続長３０８は、１から１０の１０段階に量子化した値で表現する。
尚、量子化の段階は、上記では１０としたが、音声合成装置の規模などに応じて、異なる値であってもよい。
また、番号１の音声パラメータ３０３の言語環境３０９は、”＊／＊  ＊／＊  ｉ／Ｌ  ｚ／Ｈ”であり、当該のＤＢ言語情報（ｍ／Ｌ）に先々行するＤＢ言語情報（＊／＊）と、先行するＤＢ言語情報（＊／＊）と、後続するＤＢ言語情報（ｉ／Ｌ）と、後々続するＤＢ言語情報（ｚ／Ｈ）と、で構成したことを表している。
【００１９】
パラメータ辞書５は、共起条件１０６とパラメータ１０７の対を記憶する装置である。共起条件１０６は、入力言語情報系列１０１と候補音声素片系列１０２における複数の候補音声素片の音声パラメータ３０３とが特定の値または記号であることを判定するための条件である。パラメータ１０７は、適合尺度を計算するために、共起条件１０６に応じて参照される値である。
【００２０】
ここで、複数の候補音声素片は、候補音声素片系列１０２において当該の候補音声素片、当該の候補音声素片に先行（または先々行）する候補音声素片、当該の候補音声素片に後続（または後々続）する候補音声素片のことを指す。
【００２１】
共起条件１０６は、候補音声素片系列１０２における、複数の候補音声素片の音声パラメータ３０３の差、差の絶対値、距離、相関値などの演算結果が特定の値となることを含めた条件としてもよい。
パラメータ１０７は、入力言語情報と複数の候補音声素片の音声パラメータ３０３の組み合わせ（共起）が好ましさに応じて設定する値である。好ましいときに、大きな値を設定し、好ましくないときに小さな値（負の値）を設定する。
【００２２】
図４に、パラメータ辞書５の例を示す。パラメータ辞書５は、番号４０１，共起条件１０６、パラメータ１０７を記憶する装置である。番号４０１は、共起条件１０６を識別しやすくするために付与した番号である。
共起条件１０６とパラメータ１０７によって、入力言語情報系列１０１と、基本周波数３０７などの韻律パラメータの系列と、スペクトル３０５などの音響パラメータの系列などとの好ましさの関係を詳細に表すことができる。ここで、共起条件１０６の例を図４の共起条件１０６に示す。
当該の候補音声素片の音声パラメータ３０３の基本周波数３０７は、当該の入力言語情報系列１０１の音高とに有用（好ましい、または、好ましくない）な関係があるので、当該の候補音声素片の音声パラメータ３０３の基本周波数３０７と当該の入力言語情報の音高とに関する条件を記述する（例えば、図４の番号１と番号２の共起条件１０６）。
【００２３】
当該の候補音声素片と先行の候補音声素片の基本周波数３０７の差は、基本的に当該の入力言語情報とに有用な関係がないので、当該の候補音声素片と先行の候補音声素片の基本周波数の差に関する条件のみを記述する（例えば、図４の番号３と番号４の共起条件１０６）。
ただし、当該の候補音声素片と先行の候補音声素片の基本周波数３０７の差は、当該の入力言語情報の特定の音韻と先行の入力言語情報の特定の音韻とに有用な関係があるので、当該の候補音声素片と、先行の候補音声素片の基本周波数３０７の差と、当該の入力言語情報の特定の音韻と、先行の入力言語情報の特定の音韻とに関する条件を記述する（例えば、図４の番号５と番号６の共起条件１０６）。
当該の候補音声素片の音声パラメータ３０３の基本周波数３０７は、当該の入力言語情報の音高と、先行の候補音声素片の音声パラメータ３０３の基本周波数３０７と、先々行の候補音声素片の音声パラメータ３０３の基本周波数３０７とに有用な関係があるので、これらに関する共起条件１０６を記述する（例えば、図４の番号７の共起条件１０６）。
【００２４】
当該の候補音声素片の音声パラメータ３０３のスペクトル左端第１周波数帯域の振幅は、当該の入力言語情報の音韻と、先行の候補音声素片の音声パラメータ３０３のスペクトル右端第１周波数帯域の振幅とに有用な関係があるので、これらに関する共起条件１０６を記述する（例えば、図４の番号８と番号９の共起条件１０６）。
当該のＤＢ音声素片の音声パラメータ３０３の継続長３０８は、当該の入力言語情報系列の音韻と、先行の入力言語情報系列の音韻とに有用な関係があるので、これらに関する共起条件１０６を記述する（例えば、図４の番号１０の共起条件１０６）。
尚、上記では有用な関係がある場合に共起条件１０６を設けたがこの限りではなく、有用な関係がない場合にも共起条件１０６を設けてもよい。この場合、パラメータを０と設定する。
【００２５】
次に、実施の形態１の音声合成装置の動作について説明する。
図５は、実施の形態１の音声合成装置の動作を示すフローチャートである。
＜ステップＳＴ１＞
ステップＳＴ１において、候補音声素片系列作成部１は、入力言語情報系列１０１を音声合成装置への入力として受け付ける。
＜ステップＳＴ２＞
ステップＳＴ２において、候補音声素片系列作成部１は、入力言語情報系列１０１を参照して、音声素片データベース４からＤＢ音声素片１０５を選択し、これを候補音声素片とする。具体的には、候補音声素片系列作成部１は、各入力言語情報について、入力言語情報とＤＢ言語情報３０２が一致するＤＢ音声素片１０５を選択し、これを候補音声素片とする。
例えば、図２に示す入力言語情報系列における第１の入力言語情報と一致する図３のＤＢ言語情報３０２は、番号１のＤＢ音声素片である。番号１のＤＢ音声素片は、音韻がｍ、音高がＬであり、図２における第１の入力言語情報の音韻ｍと音高Ｌとに一致している。
【００２６】
＜ステップＳＴ３＞
ステップＳＴ３において、候補音声素片系列作成部１は、ステップＳＴ２で得た候補音声素片を用いて、候補音声素片系列１０２を作成する。
入力言語情報に対し通常複数の候補音声素片が選択され、これらの候補音声素片の組み合わせすべてを複数の候補音声素片系列１０２とする。
尚、すべての入力言語情報に対し選択された候補音声素片が１つの場合は、候補音声素片系列１０２は１つのみであり、後続の動作（ステップＳＴ３〜ステップＳＴ５）を省略し、候補音声素片系列１０２を出力音声素片系列１０３とし、ステップＳＴ６へ動作を移しても良い。
【００２７】
図６に、候補音声素片系列１０２と入力言語情報系列１０１の例を上下で対応させて示す。候補音声素片系列１０２は、入力言語情報系列１０１を参照して、図３に示す音声素片データベース４からＤＢ音声素片１０５を選択して、ステップＳＴ３で作成した複数の候補音声素片系列である。入力言語情報系列１０１は図２に示す入力言語情報の時間系列である。
【００２８】
この例では、候補音声素片系列１０２内の実線矩形枠で示す箱が１つの候補音声素片を表し、箱と箱を結ぶ線が候補音声素片の組み合わせを示し、８通りの候補音声素片系列１０２が得られたことを示している。また、第２の入力言語情報（ｉ／Ｌ）に対応する第２の候補音声素片６０１は、番号２のＤＢ音声素片と番号６のＤＢ音声素片とであることを示している。
【００２９】
＜ステップＳＴ４＞
ステップＳＴ４において、出力音声素片系列決定部２は、候補音声素片系列１０２の適合度合いを共起条件１０６とパラメータ１０７に基づき計算する。
先々行の候補音声素片と先行候補音声素片と当該候補音声素片について共起条件１０６が記述されている場合を例に、適合度合いを計算する方法を詳しく述べる。
第ｓ−２と第ｓ−１と第ｓの入力言語情報と、これらに対応する候補音声素片の音声パラメータ３０３とを参照し、当てはまる共起条件１０６をパラメータ辞書５から探し、当てはまるすべての共起条件１０６に対応するパラメータ１０７を加算した値をパラメータ加算値とする。ここで、第ｓは、入力言語情報系列１０１などの時間位置を表す変数である。
【００３０】
このとき、共起条件１０６の「先々行の入力言語情報」は第ｓ−２の入力言語情報に対応し、共起条件１０６の「先行の入力言語情報」は第ｓ−１の入力言語情報に対応し、共起条件１０６の「当該の入力言語情報」は第ｓの入力言語情報に対応する。
また、このとき、共起条件１０６の「先々行の音声素片」は番号ｓ−２の入力言語情報に対応する候補音声素片に対応し、共起条件１０６の「先行の音声素片」は番号ｓ−１の入力言語情報に対応する候補音声素片に対応し、共起条件１０６の「当該の音声素片」は番号ｓの入力言語情報に対応するＤＢ音声素片に対応する。適合度合いは、ｓを３から入力言語情報系列の数まで変化させ、上記と同様の処理を繰り返して得たパラメータ加算値とする。なお、ｓを１から変化させても良く、この場合は、番号０や番号−１の入力言語情報や対応する音声素片の音声パラメータ３０３は、予め決めた固定の値を設定しておく。
【００３１】
上記の処理を各候補音声素片系列１０２について繰り返し実行し、各候補音声素片系列１０２の適合度合いをそれぞれ求める。
適合度合いの計算を、図６の複数の候補音声素片系列１０２の内、下記に示す候補音声素片系列１０２を例にとって示す。
第１の入力言語情報：第１の候補音声素片が、番号１のＤＢ音声素片
第２の入力言語情報：第２の候補音声素片が、番号２のＤＢ音声素片
第３の入力言語情報：第３の候補音声素片が、番号３のＤＢ音声素片
第４の入力言語情報：第４の候補音声素片が、番号４のＤＢ音声素片
第５の入力言語情報：第５の候補音声素片が、番号４のＤＢ音声素片
第６の入力言語情報：第６の候補音声素片が、番号１のＤＢ音声素片
第７の入力言語情報：第７の候補音声素片が、番号２のＤＢ音声素片
【００３２】
第１と第２と第３の入力言語情報と、番号１と番号２と番号３のＤＢ音声素片の音声パラメータ３０３とを参照し、当てはまる共起条件１０６を図４のパラメータ辞書５から探し、当てはまるすべての共起条件１０６に対応するパラメータ１０７を加算して得た値をパラメータ加算値とする。
このとき、共起条件１０６の「先々行の入力言語情報」は第１の入力言語情報（ｍ／Ｌ）に対応し、共起条件１０６の「先行の入力言語情報」は第２の入力言語情報（ｉ／Ｌ）に対応し、共起条件１０６の「当該の入力言語情報」は第３の入力言語情報（ｚ／Ｈ）に対応する。
また、このとき、共起条件１０６の「先々行の音声素片」は番号１のＤＢ音声素片に対応し、共起条件１０６の「先行の音声素片」は番号２のＤＢ音声素片に対応し、共起条件１０６の「当該の音声素片」は番号３のＤＢ音声素片に対応する。
【００３３】
次に、第２と第３と第４の入力言語情報と、番号２と番号３と番号４のＤＢ音声素片の音声パラメータ３０３とを参照し、当てはまる共起条件１０６を図４のパラメータ辞書５から探し、当てはまるすべての共起条件１０６に対応するパラメータ１０７を先のパラメータ加算値に加算する。このとき、共起条件１０６の「先々行の入力言語情報」は第２の入力言語情報（ｉ／Ｌ）に対応し、共起条件１０６の「先行の入力言語情報」は第３の入力言語情報（ｚ／Ｈ）に対応し、共起条件１０６の「当該の入力言語情報」は第４の入力言語情報（ｕ／Ｈ）に対応する。
また、このとき、共起条件１０６の「先々行の音声素片」は番号２のＤＢ音声素片に対応し、共起条件１０６の「先行の音声素片」は番号３のＤＢ音声素片に対応し、共起条件１０６の「当該の音声素片」は番号４のＤＢ音声素片に対応する。
最後の「第５と第６と第７の入力言語情報と番号４と番号１と番号２のＤＢ音声素片」まで、上記と同様の処理を繰り返して得たパラメータ加算値を、適合度合いとする。
【００３４】
＜ステップＳＴ５＞
ステップＳＴ５において、出力音声素片系列決定部２は、複数の候補音声素片系列１０２の内、ステップＳＴ４で計算された適合度合いの高い候補音声素片系列１０２を出力音声素片系列１０３とする。すなわち、適合度合いの高い候補音声素片系列１０２となるＤＢ音声素片を出力音声素片とし、その時間系列を出力音声素片系列１０３とする。
【００３５】
＜ステップＳＴ６＞
ステップＳＴ６において、波形素片接続部３は、出力音声素片系列１０３の各出力音声素片の波形素片３０４を順に接続して作成した音声波形１０４を音声合成装置から出力する。波形素片３０４の接続は、例えば、先行する出力音声素片の音圧信号系列の右端と後続する出力音声素片の音圧信号系列の左端との位相を合わせて接続するような公知技術を用いればよい。
【００３６】
以上説明したように、実施の形態１の音声合成装置によれば、入力された音声単位の時間系列である入力言語情報系列に対して、音声素片の時間系列を蓄積する音声素片データベースを参照して候補音声素片系列を作成する候補音声素片系列作成部と、入力言語情報系列に候補音声素片系列が適合する度合いを、入力言語情報系列と、候補音声素片系列における複数の候補音声素片それぞれの属性を示す音声パラメータとの共起条件に応じた値を示すパラメータを用いて計算し、適合する度合いに基づいて出力音声素片系列を決定する出力音声素片決定部と、出力音声素片系列に対応した音声素片を接続して音声波形を作成する波形素片接続部とを備えたので、音韻別の音響モデルや韻律別の韻律モデルを用意する必要がなく、従来の「音韻別、韻律別」の決め方に関する問題を回避できる効果がある。
【００３７】
また、音韻と、振幅スペクトルと、基本周波数などとの関係を考慮したパラメータを設定でき、適切な適合度合いを計算できる効果がある。
また、音韻別の音響モデルを用意する必要がなく、音韻別に振り分けるための情報となる音韻系列を設定する必要もなく、装置の動作を簡単化できる効果がある。
【００３８】
また、実施の形態１の音声合成装置によれば、共起条件は、候補音声素片系列における複数の候補音声素片それぞれの音声パラメータの値の演算結果が特定の値となる条件であるとしたので、先々行の音声素片と先行の音声素片と当該の音声素片などの複数の候補音声素片の音声パラメータの差、差の絶対値、距離、相関値などの共起条件を設定できるようになり、音声パラメータの関係に関する差、距離、相関などにも考慮した共起条件とパラメータを設定でき、適切な適合度合いを計算できる効果がある。
【００３９】
実施の形態２．
実施の形態１では、パラメータ１０７は、入力言語情報系列１０１と候補音声素片系列１０２の音声パラメータ３０３の組み合わせの好ましさに応じて設定する値としたが、これに代えて、次のようにパラメータ１０７を設定してもよい。
すなわち、パラメータ１０７は、ＤＢ音声素片系列のＤＢ言語情報３０２の系列に対応する複数の候補音声素片系列１０２の内、ＤＢ音声素片系列と同じ候補音声素片系列１０２の場合に大きい値とする。または、ＤＢ音声素片系列と異なる候補音声素片系列１０２の場合に小さい値とする。あるいは、これらの両方とする。
【００４０】
次に、実施の形態２におけるパラメータ１０７の設定方法について説明する。
候補音声素片系列作成部１は、音声素片データベース４におけるＤＢ言語情報の系列を入力言語情報系列１０１と見なし、この入力言語情報系列１０１に対応する複数の候補音声素片系列１０２を作成する。
次に、複数の候補音声素片系列１０２の内、ＤＢ音声素片系列と同じ候補音声素片系列１０２において、各共起条件１０６が当てはまる回数Ａを求める。
次に、複数の候補音声素片系列１０２の内、ＤＢ音声素片系列と異なる候補音声素片系列１０２において、各共起条件１０６が当てはまる回数Ｂを求める。
そして、各共起条件１０６のパラメータ１０７は、回数Ａと回数Ｂの差（回数Ａ−回数Ｂ）と設定する。
【００４１】
以上説明したように、出力音声素片系列決定部は、音声素片データベースにおける音声素片の時間系列を入力言語情報系列とみなして、みなした時間系列に対応する複数の候補音声素片系列を作成し、作成した複数の候補音声素片系列のうち、みなした時間系列と同じ系列であった場合に、パラメータを大きな値にするか、または、みなした時間系列と異なる系列であった場合にパラメータを小さな値とするかのうち、少なくともいずれかを用いて計算するようにしたので、候補音声素片系列がＤＢ音声素片系列と同じ場合に適合度合いが大きくなるか、または、候補音声素片系列がＤＢ音声素片系列と異なる場合に適合度合いが小さくなるか、あるいはその両方なので、ナレータの録音音声を元に構築したＤＢ音声素片系列の各音声パラメータの時間系列に類似した音声パラメータの時間系列をもつ出力音声素片系列を得ることができ、ナレータの録音音声に近い音声波形を得られる効果がある。
【００４２】
実施の形態３．
実施の形態１または実施の形態２によるパラメータ１０７の設定方法において、次のようにパラメータ１０７を設定してもよい。
すなわち、パラメータ１０７は、ＤＢ音声素片系列のＤＢ言語情報３０２の系列に対応する候補音声素片系列１０２において、ＤＢ音声素片系列のＤＢ音声素片の音声パラメータ３０３の聴感上の重要の度合いと、ＤＢ言語情報３０２の言語環境３０９と候補音声素片系列１０２の候補音声素片の言語環境３０９との類似の度合いとが大きい場合により大きい値とする。
【００４３】
次に、実施の形態３におけるパラメータ１０７の設定方法について説明する。
候補音声素片系列作成部１は、音声素片データベース４中のＤＢ言語情報３０２の系列を入力言語情報系列１０１と見なし、この入力言語情報系列１０１に対応する複数の候補音声素片系列１０２を作成する。
次に、入力言語情報系列１０１のＤＢ音声素片系列のＤＢ音声素片ごとに、そのＤＢ音声素片の音声パラメータ３０３の重要の度合いＣ１を求める。ここで、重要の度合いＣ１は、ＤＢ音声声素片の音声パラメータ３０３が聴感上重要な場合に大きな（重要の度合いが大きい）値とする。具体的には、例えば、重要の度合いＣ１は、スペクトルの振幅の大きさで表す。この場合、重要の度合いＣ１は、スペクトルの振幅が大きいところ（聴感上聞こえやすい母音など）で大きくなり、スペクトルの振幅の小さいところ（比較して聴感上聞こえにくい子音など）で小さくなる。また、具体的には、例えば、重要の度合いＣ１は、ＤＢ音声素片のスペクトル時間変化３０６（音圧信号系列の左端付近のスペクトルの時間変化）の逆数とする。この場合、重要の度合いＣ１は、波形素片３０４の接続における連続性が重要であるところ（母音、母音間など）で大きくなり、比較として波形素片３０４の接続における連続性が重要でないところ（母音、子音間など）で小さくなる。
【００４４】
次に、入力言語情報系列１０１の言語環境３０９と候補音声素片系列１０２の候補音声素片の言語環境３０９のペアごとに、両音声素片の言語環境３０９の類似の度合いＣ２を求める。ここで、言語環境３０９の類似の度合いＣ２は、入力言語情報系列１０１の言語環境３０９と候補音声素片系列１０２の音声素片の言語環境３０９の類似の度合いが大きいときに大きな値とする。具体的には、例えば、言語環境３０９の類似の度合いＣ２は、言語環境３０９が一致する場合に２、言語環境３０９の音韻のみが一致する場合に１、全く一致しない場合に０とする。
【００４５】
次に、各共起条件１０６のパラメータ１０７は、実施の形態１または実施の形態２で設定したパラメータ１０７を初期値として設定する。
次に、候補音声素片系列１０２の各音声素片において、当てはまる各共起条件１０６のパラメータ１０７を、Ｃ１とＣ２で更新する。具体的には、候補音声素片系列１０２の各音声素片において、当てはまる各共起条件１０６のパラメータ１０７に、Ｃ１とＣ２の積を加える。すべての候補音声素片系列１０２の各音声素片について、この積の加算を行う。
【００４６】
以上説明したように、実施の形態３の音声合成装置によれば、出力音声素片系列決定部は、音声素片データベースにおける音声素片の時間系列を入力言語情報系列とみなして、みなした時間系列に対応する複数の候補音声素片系列を作成し、作成した複数の候補音声素片系列のうち、みなした時間系列中のそれぞれの音声素片の聴感上の重要度の値と、候補音声素片系列における、対象とする音声素片を含み、かつ、連続する複数の音声素片の時間系列である言語環境と、みなした時間系列における言語環境との類似の度合いが大きい場合に、パラメータを実施の形態１または実施の形態２のパラメータより大きな値として計算を行うようにしたので、聴感上重要な共起条件のパラメータはより大きな値となり、かつ、類似する言語環境のＤＢ音声素片に当てはまる共起条件のパラメータはより大きな値となるので、聴感上重要な音声パラメータでは、ナレータの録音音声を元に構築したＤＢ音声素片系列の各音声パラメータの時間系列に、より類似した音声パラメータの時間系列となる出力音声素片系列が得られ、ナレータの録音音声に、より近い音声波形を得られる効果があり、かつ、各入力言語情報の音韻と音高の並びに類似する言語環境をもつＤＢ音声素片の音声パラメータからなる時間系列に、より類似した音声パラメータの時間系列となる出力音声素片系列が得られ、音韻や音高の言語内容が、より聞き取りやすい音声波形を得られる効果がある。
【００４７】
また、上記の実施の形態３では、候補音声素片系列の各候補音声素片で当てはまる各共起条件のパラメータに、Ｃ１とＣ２の積を加えるとしたので、聴感上重要な場合の候補音声素片では、各入力言語情報の音韻と音高の並びに類似する言語環境をもつＤＢ音声素片の音声パラメータからなる時間系列に、より類似した音声パラメータの時間系列となる出力音声素片系列が得られ、音韻や音高の言語内容が、より聞き取りやすい音声波形を得られる効果がある。
【００４８】
［実施の形態３の変形例１］
上記実施の形態３では、候補音声素片系列１０２の各音声素片で当てはまる各共起条件１０６のパラメータ１０７に、Ｃ１とＣ２の積を加えるとしたが、これに代えて、Ｃ１だけを加えてもよい。
この場合、ＤＢ音声素片系列のＤＢ言語情報３０２の系列に対応する複数の候補音声素片系列１０２の内、ＤＢ音声素片系列のＤＢ音声素片の音声パラメータ３０３の重要の度合いが大きい場合に、パラメータ１０７をより大きい値とするので、聴感上重要な共起条件１０６のパラメータ１０７はより大きな値となり、聴感上重要な音声パラメータ３０３では、ナレータの録音音声を元に構築したＤＢ音声素片系列の各音声パラメータ３０３の時間系列に、より類似した音声パラメータ３０３の時間系列となる出力音声素片系列１０３が得られ、ナレータの録音音声に、より近い音声波形を得られる効果がある。
【００４９】
［実施の形態３の変形例２］
また、上記実施の形態３では、候補音声素片系列１０２の各音声素片で当てはまる各共起条件１０６のパラメータ１０７に、Ｃ１とＣ２の積を加えるとしたが、これに代えて、Ｃ２だけを加えてもよい。
この場合、ＤＢ音声素片系列のＤＢ言語情報３０２の系列に対応する複数の候補音声素片系列１０２の内、候補音声素片系列１０２の言語環境３０９とＤＢ言語情報３０２の言語環境３０９との類似の度合いが大きい場合に、パラメータ１０７をより大きい値とするので、類似する言語環境３０９のＤＢ音声素片に当てはまる共起条件１０６のパラメータ１０７はより大きな値となり、各入力言語情報の音韻と音高の並びに類似する言語環境３０９をもつＤＢ音声素片の音声パラメータ３０３からなる時間系列に、より類似した音声パラメータ３０３の時間系列となる出力音声素片系列１０３が得られ、音韻や音高の言語内容が、より聞き取りやすい音声波形を得られる効果がある。
【００５０】
実施の形態４．
実施の形態１では、パラメータ１０７は、入力言語情報系列１０１と候補音声素片系列１０２の音声パラメータの組み合わせの好ましさに応じて設定する値としたが、これに代えて、次のようにパラメータ１０７を設定してもよい。
すなわち、入力言語情報系列１０１と、候補音声素片系列１０２における複数の候補音声素片の音声パラメータ３０３とが共起条件１０６を満たすときに０以外の固定値であり、そうでないときに０値となる素性関数とした条件付き確率場モデル（CRF;conditional random field）に基づき得られたモデルパラメータをパラメータ値とする。
【００５１】
尚、条件付き確率場モデルは、例えば、「自然言語処理シリーズ１  言語処理のための機械学習入門」（奥村学監修、高村大也著、コロナ社、第５章、ｐ．１５３−１５８）に開示されているように公知であるため、ここでの詳細な説明は省略する。
【００５２】
ここでは、条件付き確率場モデルは、下記に示す式（１）から式（３）で定義する。
2015064482.tif 000003
2015064482.tif 000004
2015064482.tif 000005
【００５３】
ここで、ベクトル値ｗは、基準Ｌ（ｗ）を最大化する値であり、モデルパラメータである。
ｘ（ｉ）は第ｉ音声のＤＢ言語情報３０２の系列である。
ｙ（ｉ，０）は第ｉ音声のＤＢ音声素片系列である。
Ｌ（ｉ，０）は第ｉ音声のＤＢ音声素片系列の音声素片の数である。
Ｐ（ｙ（ｉ，０）｜ｘ（ｉ））は、式（２）で定義される確率モデルで、ｘ（ｉ）が与えられたときに、ｙ（ｉ，０）が起きる確率（条件付き確率）である。
ｓは、音声素片系列中の音声素片の時間位置を表す。
Ｎ（ｉ）は、ｘ（ｉ）に対応する候補音声素片系列１０２の通り数である。候補音声素片系列１０２は、ｘ（ｉ）を入力言語情報系列１０１と見なし、実施の形態１で説明したステップＳＴ１〜ステップＳＴ３の動作を行って作成する。
ｙ（ｉ，ｊ）は、ｘ（ｉ）に対応する第ｊ番目の候補音声素片系列１０２の音声素片系列である。
Ｌ（ｉ，ｊ）は、ｙ（ｉ，ｊ）の候補音声素片の数である。
φ（ｘ，ｙ，ｓ）は、素性関数を要素とするベクトル値である。素性関数は、音声素片系列ｙにおける時間位置ｓの音声素片において、ＤＢ言語情報の系列ｘと音声素片系列ｙとが共起条件１０６を満たすときに０以外の固定値（この例では１とする）であり、そうでないときに０値となる関数である。第ｋ番目の要素の素性関数を次式に示す。
2015064482.tif 000006
値Ｃ１，Ｃ２は、モデルパラメータの大きさを調整するための値であり、実験的に調整して決める。
【００５４】
図４に示すパラメータ辞書５の場合、φ（ｘ（ｉ），ｙ（ｉ，ｊ），ｓ）の第１要素となる素性関数は、式（５）である。
2015064482.tif 000007
この式（５）において、共起条件１０６は、「当該の入力言語情報」を「ｘ（ｉ）における位置ｓのＤＢ言語情報」と読み替え、「当該の音声素片」を「ｙ（ｉ，ｊ）における時間位置ｓの候補音声素片」と読み替えを行い、「ｘ（ｉ）における時間位置ｓのＤＢ言語情報の音高がＨで、かつ、ｙ（ｉ，ｊ）における時間位置ｓの候補音声素片の基本周波数が７」と解釈する。式（５）の素性関数は、この共起条件１０６を満たすとき１であり、そうでないとき０となる関数である。
【００５５】
最急勾配法や確率勾配法などの従来のモデルパラメータ推定方法を用いて、上記のＬ（ｗ）が最大になるよう求めたモデルパラメータｗを、パラメータ辞書５のパラメータ１０７として設定する。このようにパラメータ１０７を設定することで、式（１）の尺度の基で、最適なＤＢ音声素片を選択することができる。
【００５６】
以上説明したように、実施の形態４の音声合成装置によれば、出力音声素片系列決定部は、実施の形態１のパラメータに代えて、入力言語情報系列に候補音声素片系列が適合する度合いを、入力言語情報系列と、候補音声素片系列における複数の候補音声素片それぞれの属性を示す音声パラメータとの共起条件を満たすときに０以外の固定値であり、そうでないときに０値にとなる素性関数を用いた確率場モデルに基づき得られたパラメータを用いて計算するようにしたので、パラメータを条件付き確率最大の基準で自動的に設定することができる効果と、条件付き確率を最大とするような一貫した尺度で音声素片系列を選択できる装置を短時間で構築できる効果がある。
【００５７】
実施の形態５．
上記実施の形態４では、式（１）、式（２）、式（３）に基づきパラメータ１０７を設定することとしたが、式（３）に代えて、以下に示す式（６）を用いて、パラメータ１０７を設定してもよい。式（６）は、第２の条件付き確率場モデルである。
第２の条件付き確率場モデルは、音声認識の分野で提案されている（例えば、Daniel Povey他、BOOSTED MMI FOR MODEL AND FEATURE-SPACE DISCRIINATIVE TRAININGを参照）ＢＯＯＳＴＥＤ  ＭＭＩと呼ばれる方法を条件付き確率場モデルに当てはめ、さらに、それを音声素片の選択のために改良を加えた式である。
2015064482.tif 000008
上式（６）において、ψ１（ｙ（ｉ，０），ｓ）は、音声パラメータ重要性関数であり、ｙ（ｉ，０）の時間位置ｓのＤＢ音声素片の音声パラメータ３０３が聴感上重要な場合に大きな（重要の度合いが大きい）値を返すような関数である。この値は、実施の形態３で述べた重要の度合いＣ１とする。
【００５８】
ψ２（ｙ（ｉ，ｊ），ｙ（ｉ，０），ｓ）は、言語情報類似性関数であり、ｙ（ｉ，０）における位置ｓのＤＢ音声素片の言語環境３０９と、ｘ（ｉ）に対応するｙ（ｉ，ｊ）における位置ｓの候補音声素片の言語環境３０９とが類似する（類似の度合いが大きい）場合に大きな値を返すような関数である。この値は、類似の度合いが大きいほど大きな値とする。この値は、実施の形態３での述べた言語環境３０９の類似の度合いＣ２とする。
【００５９】
−σψ１（ｙ（ｉ，０），ｓ）ψ２（ｙ（ｉ，ｊ），ｙ（ｉ，０），ｓ）を加えた式（６）を用いて、Ｌ（ｗ）を最大化するパラメータｗを求める場合、式（３）の場合と比べ、モデルパラメータｗは、−σψ１（ｙ（ｉ，０），ｓ）ψ２（ｙ（ｉ，ｊ），ｙ（ｉ，０），ｓ）を補償するように求められる。この結果、言語情報類似性関数の値が大きく、かつ、音声パラメータ重要性関数の値が大きく、共起条件１０６が成り立つときのパラメータｗは、式（３）と比べ、大きな値となる。
【００６０】
上記のように求めたモデルパラメータをパラメータ１０７として用いることで、ステップＳＴ４で、音声パラメータ３０３の重要の度合いが大きい場合に、より言語環境３０９を重視した適合度合いを重視した適合度を求めることができる。
【００６１】
［実施の形態５の変形例１］
上記では、−σψ１（ｙ（ｉ，０），ｓ）ψ２（ｙ（ｉ，ｊ），ｙ（ｉ，０），ｓ）を加えた式（６）を用いて、Ｌ（ｗ）を最大化するパラメータｗを求めたが、これに代えて、−σψ２（ｙ（ｉ，ｊ），ｙ（ｉ，０），ｓ）を加えた、式（６）を最大化するパラメータｗを求めてもよい。この場合、ステップＳＴ４で、より言語環境３０９を重視した適合度合いを求めることができる。
【００６２】
［実施の形態５の変形例２］
上記では、−σψ１（ｙ（ｉ，０），ｓ）ψ２（ｙ（ｉ，ｊ），ｙ（ｉ，０），ｓ）を加えた式（６）を用いて、Ｌ（ｗ）を最大化するパラメータｗを求めたが、これに代えて、−σψ１（ｙ（ｉ，０），ｓ）を加えた、式（６）を最大化するパラメータｗを求めてもよい。この場合、ステップＳＴ４で、より音声パラメータ３０３の重要の度合いを重視した適合度合いを求めることができる。
【００６３】
［実施の形態５の変形例３］
上記では、−σψ１（ｙ（ｉ，０），ｓ）ψ２（ｙ（ｉ，ｊ），ｙ（ｉ，０），ｓ）を加えた式（６）を用いて、Ｌ（ｗ）を最大化するパラメータｗを求めたが、これに代えて、−σ１ψ１（ｙ（ｉ，０），ｓ）−σ２ψ２（ｙ（ｉ，ｊ），ｙ（ｉ，０），ｓ）を加えた式（６）を最大化するパラメータｗを求めてもよい。σ１、σ２は、実験的に調整する定数である。この場合、ステップＳＴ４で、音声パラメータ３０３の重要の度合いと言語環境３０９とを重視した適合度合いを求めることができる。
【００６４】
以上説明したように、実施の形態５の音声合成装置によれば、実施の形態３の効果と実施の形態４と同様な効果を同時に得られる効果がある。すなわち、第２の条件付き確率最大の基準でパラメータを自動的に設定することができる効果と、第２の条件付き確率を最大とするような一貫した尺度で音声素片系列を選択できる装置を短時間で構築できる効果と、聴感上の聞き取りやすく、音韻や音高などの言語内容の聞き取りやすい音声波形を得られる効果がある。
【００６５】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【００６６】
例えば、インターネットなどのネットワーク上の２台以上の計算機上で、本発明を実施することも可能である。
具体的には、実施の形態１の波形素片は、音声素片データベースの構成要素の１つとしたが、大型な記憶装置を持つ計算機上（サーバ）に備える波形素片データベースの構成要素の１つとしてもよい。サーバは、ユーザの端末である計算機（クライアント）からネットワークを通じて要求される波形素片をクライアントへ送信する。一方、クライアントは、出力音声素片系列に対応する波形素片をサーバから得る。
このようにすることで、小型な記憶装置となる計算機においても、本発明を実施し効果を得ることが可能である。
【符号の説明】
【００６７】
１  候補音声素片系列作成部、２  出力音声素片系列決定部、３  波形素片接続部、４  音声素片データベース、５  パラメータ辞書、１０１  入力言語情報系列、１０２  候補音声素片系列、１０３  出力音声素片系列、１０４  音声波形、１０５  ＤＢ音声素片、１０６  共起条件、１０７  パラメータ。
【図１】
2015064482.tif 000009
【図２】
2015064482.tif 000010
【図３】
2015064482.tif 000011
【図４】
2015064482.tif 000012
【図５】
2015064482.tif 000013
【図６】
2015064482.tif 000014