(57)【特許請求の範囲】
【請求項１】
Ｓを１以上の整数とし、
評価用スペクトルパラメータ集合を第ｓ音声合成モデルから生成されたスペクトルパラメータである第ｓ合成音声スペクトルパラメータを要素とする集合（ただし、１≦ｓ≦Ｓ）の和集合とし、
前記評価用スペクトルパラメータ集合を用いて、原音声に最も近い品質を有すると考えられる合成音声を生成する音声合成モデルの識別子ｓ’（１≦ｓ’≦Ｓ）を決定する合成音声品質評価装置であって、
前記第ｓ合成音声スペクトルパラメータからスペクトルパラメータの次元間の独立性の程度を表す第ｓ合成音声独立性指標を算出する第ｓ合成音声独立性指標算出部と、
前記第ｓ合成音声独立性指標が最大となるｓ’を原音声に最も近い品質を有すると考えられる合成音声を生成する音声合成モデルの識別子として決定する独立性指標評価部と
を含む合成音声品質評価装置。
【請求項２】
Ｓを１以上の整数とし、
評価用スペクトルパラメータ集合を第ｓ音声合成モデルから生成されたスペクトルパラメータである第ｓ合成音声スペクトルパラメータを要素とする集合（ただし、１≦ｓ≦Ｓ）の和集合とし、
前記評価用スペクトルパラメータ集合を用いて、原音声に最も近い品質を有すると考えられる合成音声を生成する音声合成モデルの識別子ｓ’（１≦ｓ’≦Ｓ）を決定する合成音声品質評価装置であって、
前記第ｓ合成音声スペクトルパラメータから推定第ｓ合成音声スペクトルパラメータを生成する推定第ｓ合成音声スペクトルパラメータ生成部と、
前記第ｓ合成音声スペクトルパラメータと前記推定第ｓ合成音声スペクトルパラメータの誤差を第ｓ合成音声推定誤差として算出する第ｓ合成音声推定誤差算出部と、
前記第ｓ合成音声推定誤差が最大となるｓ’を原音声に最も近い品質を有すると考えられる合成音声を生成する音声合成モデルの識別子として決定する独立性指標評価部とを含み、
Ｍを２以上の整数、Ｍ１、Ｍ２を１以上の整数とし、
Ｍを前記第ｓ合成音声スペクトルパラメータの次元数とし、
前記推定第ｓ合成音声スペクトルパラメータ生成部は、
前記第ｓ合成音声スペクトルパラメータのＭ１個の次元からなる第１分割第ｓ合成音声スペクトルパラメータから、前記第ｓ合成音声スペクトルパラメータのＭ２個の次元を推定した推定第２分割第ｓ合成音声スペクトルパラメータを生成する推定第２分割第ｓ合成音声スペクトルパラメータ生成部とを含み、
前記Ｍ１、Ｍ２は、Ｍ１＋Ｍ２≦Ｍを満たし、
前記推定第２分割第ｓ合成音声スペクトルパラメータのＭ２個の次元は、前記第１分割第ｓ合成音声スペクトルパラメータのＭ１個の次元とは異なる合成音声品質評価装置。
【請求項３】
請求項２に記載の合成音声品質評価装置であって、
前記Ｍ１、Ｍ２は、Ｍ１＋Ｍ２＝Ｍを満たし、
前記推定第ｓ合成音声スペクトルパラメータ生成部は、
前記第ｓ合成音声スペクトルパラメータから前記第１分割第ｓ合成音声スペクトルパラメータと前記第ｓ合成音声スペクトルパラメータのＭ２個の次元からなる第２分割第ｓ合成音声スペクトルパラメータの組を生成する第ｓ合成音声スペクトルパラメータ分割部と、
前記第２分割第ｓ合成音声スペクトルパラメータから前記第ｓ合成音声スペクトルパラメータのＭ１個の次元を推定した推定第１分割第ｓ合成音声スペクトルパラメータとして生成する推定第１分割第ｓ合成音声スペクトルパラメータ生成部と、
前記推定第１分割第ｓ合成音声スペクトルパラメータと前記推定第２分割第ｓ合成音声スペクトルパラメータから推定第ｓ合成音声スペクトルパラメータを生成する推定第ｓ合成音声スペクトルパラメータ統合部とを含み、
前記第２分割第ｓ合成音声スペクトルパラメータのＭ２個の次元は、前記第１分割第ｓ合成音声スペクトルパラメータのＭ１個の次元とは異なり、
前記推定第１分割第ｓ合成音声スペクトルパラメータのＭ１個の次元は、前記第２分割第ｓ合成音声スペクトルパラメータのＭ２個の次元とは異なる合成音声品質評価装置。
【請求項４】
Ｓを１以上の整数とし、
評価用スペクトルパラメータ集合を第ｓ音声合成モデルから生成されたスペクトルパラメータである第ｓ合成音声スペクトルパラメータを要素とする集合（ただし、１≦ｓ≦Ｓ）の和集合とし、
前記評価用スペクトルパラメータ集合を用いて、原音声に最も近い品質を有すると考えられる合成音声を生成する音声合成モデルの識別子ｓ’（１≦ｓ’≦Ｓ）を決定する合成音声品質評価方法であって、
前記第ｓ合成音声スペクトルパラメータからスペクトルパラメータの次元間の独立性の程度を表す第ｓ合成音声独立性指標を算出する第ｓ合成音声独立性指標算出ステップと、
前記第ｓ合成音声独立性指標が最大となるｓ’を原音声に最も近い品質を有すると考えられる合成音声を生成する音声合成モデルの識別子として決定する独立性指標評価ステップと
を実行する合成音声品質評価方法。
【請求項５】
請求項４に記載の合成音声品質評価方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成手法により生成した合成音声の品質を評価する技術に関し、特にスペクトルパラメータの次元間の相関性に基づき評価する技術にする。
【背景技術】
【０００２】
近年、主流となっている音声合成方式として、統計的パラメトリック音声合成がある。例えば、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）音声合成（非特許文献１、非特許文献３、非特許文献４）、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）音声合成（非特許文献２）がある。これらの手法では、音声の特徴量であるスペクトルパラメータ（ケプストラム、メルケプストラム等）、音高パラメータ（Ｆ０）等を統計的にモデル化する。これにより、比較的少量の学習用音声データから安定した品質の合成音声を生成することが可能となる。
【０００３】
統計的パラメトリック音声合成における品質の客観評価方法として、評価対象の原音声と合成音声とのスペクトルパラメータ生成誤差が一般的に用いられる（非特許文献２の図３参照）。例えば、スペクトルパラメータ生成誤差の一つであるメルケプストラム距離ｄｍｃｅｐは式（１）で算出される。
【０００４】
【数１】
0006452591.tif 000002
【０００５】
ここで、ｃｏｒｇ（ｔ，ｋ）、ｃｇｅｎ（ｔ，ｋ）はそれぞれ原音声のｔ番目のフレームにおけるｋ次元目のメルケプストラム、合成音声のｔ番目のフレームにおけるｋ次元目のメルケプストラムを示す。また、Ｔ、Ｍはそれぞれ原音声または合成音声のフレーム数、メルケプストラムの次元数である。
【０００６】
一般的に、メルケプストラム距離が小さいほど、合成音声の主観評価値（ＭＯＳ値等）が高くなることが知られている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】益子貴史、徳田恵一、小林隆夫、今井聖、“動的特徴を用いたＨＭＭに基づく音声合成”、電子情報通信学会論文誌、電子情報通信学会、１９９６年１２月、Vol.J79-D-II No.12 pp.2184-2190．
【非特許文献２】Heiga Zen, Andrew Senior, and Martin Schuster, “Statistical Parametric Speech Synthesis Using Deep Neural Networks”, ICASSP 2013, IEEE, 2013, pp.7962-7966.
【非特許文献３】Tomoki Toda, and Keiichi Tokuda, “A Speech Parameter Generation Algorithm Considering Global Variance for HMM-based Speech Synthesis”, IEICE TRANS. INF. & SYST., May 2007, Vol.E90-D,No.5, pp.816-824.
【非特許文献４】Shinnosuke Takamichi, Tomoki Toda, Graham Neubig, Sakriani Sakti and Satoshi Nakamura, “A Postfilter to Modify the Modulation Spectrum in HMM-based Speech Synthesis”, ICASSP 2014, IEEE, May 2014, pp.290-294.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、非特許文献３（Ｇｌｏｂａｌ  Ｖａｒｉａｎｃｅを用いたパラメータ生成方法）や非特許文献４（変調スペクトルに基づくポストフィルタ）のようにいくつかの手法ではメルケプストラム距離が大きくなったとしても主観評価値が高くなることが知られており、必ずしもメルケプストラム距離等のパラメータ生成誤差と主観評価値が対応するわけではない。そのため、最終的な合成音声の品質を評価するためには主観評価を行う必要があった。
【０００９】
そこで本発明では、スペクトルパラメータの次元間の相関性に基づき品質を評価することにより、主観評価の評価結果と対応する合成音声品質評価装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様は、Ｓを１以上の整数とし、評価用スペクトルパラメータ集合を第ｓ音声合成モデルから生成されたスペクトルパラメータである第ｓ合成音声スペクトルパラメータを要素とする集合（ただし、１≦ｓ≦Ｓ）の和集合とし、前記評価用スペクトルパラメータ集合を用いて、原音声に最も近い品質を有すると考えられる合成音声を生成する音声合成モデルの識別子ｓ’（１≦ｓ’≦Ｓ）を決定する合成音声品質評価装置であって、前記第ｓ合成音声スペクトルパラメータからスペクトルパラメータの次元間の独立性の程度を表す第ｓ合成音声独立性指標を算出する第ｓ合成音声独立性指標算出部と、前記第ｓ合成音声独立性指標が最大となるｓ’を原音声に最も近い品質を有すると考えられる合成音声を生成する音声合成モデルの識別子として決定する独立性指標評価部とを含む。
【発明の効果】
【００１１】
本発明によれば、スペクトルパラメータの次元間の相関性に基づく客観評価値を用いることにより、主観評価の評価結果と対応する合成音声の品質評価が可能となる。
【図面の簡単な説明】
【００１２】
【図１】従来技術であるスペクトルパラメータ生成装置９００の構成を示すブロック図。
【図２】従来技術であるスペクトルパラメータ生成装置９００の動作を示すフローチャート。
【図３】音素セグメンテーション情報の一例を示す表。
【図４】実施例１のスペクトルパラメータ推定器学習装置１００の構成を示すブロック図。
【図５】実施例１のスペクトルパラメータ推定器学習装置１００の動作を示すフローチャート。
【図６】実施例１の合成音声品質評価装置２００の構成を示すブロック図。
【図７】実施例１の合成音声品質評価装置２００の動作を示すフローチャート。
【図８】実施例１の第ｓ合成音声独立性指標算出部２５０−ｓの構成を示すブロック図。
【図９】実施例１の第ｓ合成音声独立性指標算出部２５０−ｓの動作を示すフローチャート。
【図１０】実施例１の推定第ｓ合成音声スペクトルパラメータ生成部２２０−ｓの構成を示すブロック図。
【図１１】実施例１の推定第ｓ合成音声スペクトルパラメータ生成部２２０−ｓの動作を示すフローチャート。
【図１２】実施例１（変形）の合成音声品質評価装置２０５の構成を示すブロック図。
【図１３】実施例２のスペクトルパラメータ推定器学習装置３００の構成を示すブロック図。
【図１４】実施例２のスペクトルパラメータ推定器学習装置３００の動作を示すフローチャート。
【図１５】実施例２の推定第ｓ合成音声スペクトルパラメータ生成部４２０−ｓの構成を示すブロック図。
【図１６】実施例２の推定第ｓ合成音声スペクトルパラメータ生成部４２０−ｓの動作を示すフローチャート。
【図１７】実験で用いたスペクトルパラメータ（メルケプストラム）の散布の様子を示す図。
【図１８】実験結果（２つの客観評価値（メルケプストラム距離）と主観評価値（ＭＯＳ値））示す表。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１４】
本発明は、スペクトルパラメータ推定器学習装置と合成音声品質評価装置から構成される。スペクトルパラメータ推定器学習装置は、原音声のスペクトルパラメータまたは評価対象となる音声合成モデルから生成された合成音声のスペクトルパラメータを用いて、スペクトルパラメータ推定器を学習する。この学習は、スペクトルパラメータの種類ごとに個別に行われる。一方、合成音声品質評価装置は、学習したスペクトルパラメータ推定器を用いて、原音声のスペクトルパラメータや合成音声のスペクトルパラメータを推定し、推定誤差に基づくスペクトルパラメータの次元間の相関性を用いて合成音声の品質を評価する。ここで、スペクトルパラメータ推定器とは、スペクトルパラメータ（オリジナルスペクトルパラメータ）の一部の次元のスペクトルパラメータから構成されるスペクトルパラメータ（分割スペクトルパラメータ）から分割スペクトルパラメータを構成しないオリジナルスペクトルパラメータの一部の次元のスペクトルパラメータを推定する関数のことである。
【００１５】
本発明の説明をする前に前提となる音声合成モデルのスペクトルパラメータの生成について説明する。以下、図１、図２を参照して従来技術であるスペクトルパラメータ生成装置９００の概略を説明する。図１は、従来技術であるスペクトルパラメータ装置９００の構成を示すブロック図である。図２は、従来技術であるスペクトルパラメータ生成装置９００の動作を示すフローチャートである。図１に示すようにスペクトルパラメータ生成装置９００は、音声合成モデル学習部９１０と、音声合成モデル記録部９２０と、スペクトルパラメータ生成部９３０を含む。スペクトルパラメータ生成装置９００は、音声データ記録部９０１、発話情報記録部９０２と接続している。
【００１６】
音声データ記録部９０１と発話情報記録部９０２には、音声合成モデルの学習に用いる音声データとその音声データの発話情報を記録しておく。音声データおよび発話情報は学習に先立ってあらかじめ収録しておくものである。
【００１７】
音声データは、音声合成の対象となる１名の話者が発話したＮ個の文章の音声から生成されるものであり、音声信号に対して信号処理を行った結果、得られる音響特徴量である。音響特徴量の例として、基本周波数（Ｆ０）などの音高パラメータ、ケプストラムやメルケプストラムなどのスペクトルパラメータがある。音声データ記録部９０１に記録された音声データには、音声合成に必要な各音素が１つ以上含まれているものとする。
【００１８】
発話情報は、音声データ中の各発話に対して付与された発音などの情報のことであり、音声データ中の各発話に１つの発話情報が付与される。発話情報は、少なくとも各音声に対応する発音情報（読み、音素）が付与されている。この際、各音素の開始時間、終了時間の情報（音素セグメンテーション情報）があわせて付与されてもよい。開始時間・終了時間は、各発話の始点を０[秒]としたときの経過時間で表す。音素セグメンテーション情報の一例を図３に示す。また、音素セグメンテーション情報以外にアクセント情報（アクセント型、アクセント句長）や品詞情報を発話情報に含むようにしてもよい。
【００１９】
音声合成モデル学習部９１０は、音声データ記録部９０１に記録した音声データと発話情報記録部９０２に記録した発話情報から音声合成モデルを学習し、音声合成モデル記録部９２０に記録する（Ｓ９１０）。音声合成モデルとは、音声合成に必要となる音響特徴量を統計的にモデル化したものである。音声合成モデルの学習手法は様々あり、先述の通りＨＭＭ音声合成（非特許文献１）、ＤＮＮ音声合成（非特許文献２）などがある。本発明では、学習手法や学習時のパラメータ等の学習条件を変更して学習されたＳ個（Ｓは１以上の整数）の音声合成モデルを使用する。以下、これらのモデルを第１音声合成モデル、…、第Ｓ音声合成モデルということとする。
【００２０】
スペクトルパラメータ生成部９３０は、音声合成モデル記録部９２０に記録した音声合成モデルと発話情報からスペクトルパラメータを生成する（Ｓ９３０）。
【００２１】
図１に示したスペクトルパラメータ生成装置９００の構成は一例であり、スペクトルパラメータを生成するものであればどのような構成のものであってもよい。
【実施例１】
【００２２】
以下、スペクトルパラメータ推定器学習装置で用いるスペクトルパラメータ、合成音声品質評価装置で用いるスペクトルパラメータをそれぞれ学習用スペクトルパラメータ、評価用スペクトルパラメータと呼ぶ。学習用スペクトルパラメータには、原音声から生成されたスペクトルパラメータ、第ｓ音声合成モデル（１≦ｓ≦Ｓ）から生成されたスペクトルパラメータがある。同様に、評価用スペクトルパラメータにも、原音声から生成されたスペクトルパラメータ、第ｓ音声合成モデル（１≦ｓ≦Ｓ）から生成されたスペクトルパラメータがある。ただし、学習用スペクトルパラメータの生成に用いた発話情報と評価用スペクトルパラメータの生成に用いた発話情報は異なるものとする。
【００２３】
（スペクトルパラメータ推定器学習装置）
スペクトルパラメータ推定器学習装置は、原音声の学習用スペクトルパラメータ、第ｓ音声合成モデルから生成された合成音声（以下、第ｓ合成音声という）の学習用スペクトルパラメータを用いて、それぞれ原音声のスペクトルパラメータ推定器、第ｓ合成音声のスペクトルパラメータ推定器を学習する。この学習処理は原音声の学習用スペクトルパラメータ、第ｓ合成音声の学習用スペクトルパラメータそれぞれについて個別に実施される。
【００２４】
以下、図４、図５を参照して実施例１のスペクトルパラメータ推定器学習装置１００について説明する。図４は、実施例１のスペクトルパラメータ推定器学習装置１００の構成を示すブロック図である。図５は、実施例１のスペクトルパラメータ推定器学習装置１００の動作を示すフローチャートである。図４に示すようにスペクトルパラメータ推定器学習装置１００は、スペクトルパラメータ分割部１１０と、第１分割スペクトルパラメータ記録部１２０と、第２分割スペクトルパラメータ記録部１３０と、第１スペクトルパラメータ推定器学習部１４０−１と、第２スペクトルパラメータ推定器学習部１４０−２を含む。スペクトルパラメータ推定器学習装置１００は、スペクトルパラメータ記録部１０１と接続している。
【００２５】
スペクトルパラメータ記録部１０１には、学習に用いる１以上の学習用スペクトルパラメータ（以下、学習用スペクトルパラメータ集合という）を記録しておく。学習用スペクトルパラメータ集合は原音声の学習用スペクトルパラメータの集合、第ｓ合成音声の学習用スペクトルパラメータの集合のいずれかである。
【００２６】
スペクトルパラメータ分割部１１０は、スペクトルパラメータの次元を基準に学習用スペクトルパラメータを２つのスペクトルパラメータ、第１分割スペクトルパラメータと第２分割スペクトルパラメータに分割し、それぞれ第１分割スペクトルパラメータ記録部１２０、第２分割スペクトルパラメータ記録部１３０に記録する（Ｓ１１０）。なお、ある学習用スペクトルパラメータを分割して得られた第１分割スペクトルパラメータ、第２分割スペクトルパラメータは組として対応づけられているものとする。
【００２７】
以下、分割対象となる学習用スペクトルパラメータをＣｔｙｐｅ,ｏｒｇ、第１分割スペクトルパラメータをＣｔｙｐｅ,ｓｅｐ１、第２分割スペクトルパラメータをＣｔｙｐｅ,ｓｅｐ２で表すこととする。ここで、添字ｔｙｐｅは、学習の対象となる音声の種類、つまり原音声、第ｓ合成音声のいずれかを示す。
【００２８】
Ｃｔｙｐｅ,ｏｒｇ、Ｃｔｙｐｅ,ｓｅｐ１、Ｃｔｙｐｅ,ｓｅｐ２は、いずれもＴフレーム数分のスペクトルパラメータであり、ｔを１≦ｔ≦Ｔとし、Ｍ次元ベクトルｃｔｙｐｅ,ｏｒｇ（ｔ）を用いて、Ｃｔｙｐｅ,ｏｒｇ＝[ｃｔｙｐｅ,ｏｒｇ（１）,ｃｔｙｐｅ,ｏｒｇ（２）,…，ｃｔｙｐｅ,ｏｒｇ（ｔ）,…，ｃｔｙｐｅ,ｏｒｇ（Ｔ）]、Ｍ１次元ベクトルｃｔｙｐｅ,ｓｅｐ１（ｔ）を用いて、Ｃｔｙｐｅ,ｓｅｐ１＝[ｃｔｙｐｅ,ｓｅｐ１（１）,…，ｃｔｙｐｅ,ｓｅｐ１（Ｔ）]、Ｍ２次元ベクトルｃｔｙｐｅ,ｓｅｐ２（ｔ）を用いて、Ｃｔｙｐｅ,ｓｅｐ２＝[ｃｔｙｐｅ,ｓｅｐ２（１）,…，ｃｔｙｐｅ,ｓｅｐ２（Ｔ）]とそれぞれ表される。ここで、Ｍを２以上の整数、Ｍ１、Ｍ２は、１≦Ｍ１、Ｍ２≦Ｍ−１を満たす整数である。なお、Ｍ、Ｍ１、Ｍ２を各スペクトルパラメータの次元数という。
【００２９】
Ｍ１＋Ｍ２＝Ｍとなるように、学習用スペクトルパラメータＣｔｙｐｅ,ｏｒｇを分割するには、以下の２つの条件を満たすように分割すればよい。
（条件１）第１分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐ１、第２分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐ２との間に学習用スペクトルパラメータＣｔｙｐｅ,ｏｒｇの同一次元のスペクトルパラメータが含まれてない。
（条件２）学習用スペクトルパラメータＣｔｙｐｅ,ｏｒｇのすべての次元のスペクトルパラメータが第１分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐ１、第２分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐ２のいずれかに含まれる。
【００３０】
このような分割方法の例として、Ｃｔｙｐｅ,ｓｅｐ１を奇数次のスペクトルパラメータ、Ｃｔｙｐｅ,ｓｅｐ２を偶数次のスペクトルパラメータとする方法がある。また、ある次元を基準にＣｔｙｐｅ,ｓｅｐ１を低次のスペクトルパラメータ、Ｃｔｙｐｅ,ｓｅｐ２を高次のスペクトルパラメータとする方法もある。
【００３１】
なお、（条件２）を満たさない、不完全な分割も考えられる。この場合は、Ｍ１＋Ｍ２≦Ｍ−１となる。不完全な分割でも（条件１）は満たすものとする。この不完全な分割を用いてスペクトルパラメータ推定器を生成することも可能である。一般に完全な分割、つまり（条件１）と（条件２）を満たす分割を用いて生成したスペクトルパラメータ推定器の推定精度の方が高くなる。
【００３２】
第１スペクトルパラメータ推定器学習部１４０−１は、第１分割スペクトルパラメータ記録部１２０、第２分割スペクトルパラメータ記録部１３０に記録されている第１分割スペクトルパラメータと第２分割スペクトルパラメータの組を用いて、第１スペクトルパラメータ推定器を学習する（Ｓ１４０−１）。ここで、第１スペクトルパラメータ推定器とは、第１分割スペクトルパラメータから第２分割スペクトルパラメータを推定する関数である。
【００３３】
第１スペクトルパラメータ推定器学習部１４０−１は、第１分割スペクトルパラメータと第２分割スペクトルパラメータの組（Ｃｔｙｐｅ,ｓｅｐ１，Ｃｔｙｐｅ,ｓｅｐ２）の集合を用いて、第１分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐ１から第２分割スペクトルパラメータの推定値であるＣ＾ｔｙｐｅ,ｓｅｐ２を推定する関数ｆｔｙｐｅ,ｓｅｐ１→ｓｅｐ２を学習する。
【００３４】
【数２】
0006452591.tif 000003
【００３５】
ここで、ｔを１≦ｔ≦Ｔとすれば、Ｃｔｙｐｅ,ｓｅｐ１からＣ＾ｔｙｐｅ,ｓｅｐ２が推定できる。
【００３６】
第１スペクトルパラメータ推定器を学習するには、あるパラメータから別のパラメータを推定する手法であればどのような手法を用いてもよい。例えば、話者Ａのスペクトルパラメータから別の話者Ｂのスペクトルパラメータを推定する声質変換で用いられるＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）（参考非特許文献５）やＡＮＮ（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）（参考非特許文献６）を用いることができる。
（参考非特許文献５）Tomoki Toda, Alan W. Black, and Keiichi Tokuda, “Voice Conversion Based on Maximum-Likelihood Estimation of Spectral Parameter Trajectory”, IEEE Transactions on Audio, Speech, and Language Processing, Nov. 2007, Vol.15 Issue8, pp.2222-2235.
（参考非特許文献６）Srinivas Desai, E. Veera Raghavendra, B. Yegnanarayana, Alan W. Black, Kishore Prahallad, “Voice conversion using Artificial Neural Networks”, ICASSP 2009, Apr. 2009, pp.3893-3896.
【００３７】
なお、推定に用いる組を変えることで、第１スペクトルパラメータ推定器学習部１４０−１は複数の第１スペクトルパラメータ推定器を学習することとしてもよい。
【００３８】
第２スペクトルパラメータ推定器学習部１４０−２は、第１分割スペクトルパラメータ記録部１２０、第２分割スペクトルパラメータ記録部１３０に記録されている第１分割スペクトルパラメータと第２分割スペクトルパラメータの組を用いて、第２スペクトルパラメータ推定器を学習する（Ｓ１４０−２）。ここで、第２スペクトルパラメータ推定器とは、第２分割スペクトルパラメータから第１分割スペクトルパラメータを推定する関数である。
【００３９】
第２スペクトルパラメータ推定器学習部１４０−２は、第１分割スペクトルパラメータと第２分割スペクトルパラメータの組（Ｃｔｙｐｅ,ｓｅｐ１，Ｃｔｙｐｅ,ｓｅｐ２）の集合を用いて、第２分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐ２から第１分割スペクトルパラメータの推定値であるＣ＾ｔｙｐｅ,ｓｅｐ１を推定する関数ｆｔｙｐｅ,ｓｅｐ２→ｓｅｐ１を学習する。
【００４０】
【数３】
0006452591.tif 000004
【００４１】
ここで、ｔを１≦ｔ≦Ｔとすれば、Ｃｔｙｐｅ,ｓｅｐ２からＣ＾ｔｙｐｅ,ｓｅｐ１が推定できる。
【００４２】
第２スペクトルパラメータ推定器の学習方法についても、（参考非特許文献５）や（参考非特許文献６）に記載の方法を用いればよい。また、第２スペクトルパラメータ推定器学習部１４０−２は複数の第２スペクトルパラメータ推定器を学習するようにしてもよい。
【００４３】
（合成音声品質評価装置）
次に、合成音声品質評価装置について説明する。合成音声品質評価装置では、第ｓ合成音声の評価用スペクトルパラメータからスペクトルパラメータの次元間の独立性の程度を表す第ｓ合成音声の独立性指標を算出する。この算出処理は第ｓ合成音声の評価用スペクトルパラメータそれぞれについて個別に実施される。そして、算出した独立性指標の中から最大となる識別子ｓ’（１≦ｓ’≦Ｓ）に対応する合成音声が最も原音声に近い、品質の高いものであると判断する。
【００４４】
なお、次元間の独立性の程度と次元間の相関性の程度は相対応する概念であり、独立性が高いとき相関性は低く、独立性が低いとき相関性は高くなる。また、独立性指標の一例として、先述の第１スペクトルパラメータ推定器等を用いて評価用スペクトルパラメータから生成される推定スペクトルパラメータと評価用スペクトルパラメータとの誤差がある。
【００４５】
以下、図６、図７を参照して実施例１の合成音声品質評価装置２００について説明する。図６は、実施例１の合成音声品質評価装置２００の構成を示すブロック図である。図７は、実施例１の合成音声品質評価装置２００の動作を示すフローチャートである。図６に示すように合成音声品質評価装置２００は、第ｓ合成音声独立性指標算出部２５０−ｓと、第ｓ合成音声独立性指標記録部２６０−ｓと、独立性指標評価部２７０を含む。合成音声品質評価装置２００は、第ｓ合成音声スペクトルパラメータ記録部２０１−ｓと接続している。
【００４６】
第ｓ合成音声スペクトルパラメータ記録部２０１−ｓには、評価対象となる第ｓ合成音声スペクトルパラメータを記録しておく。第１合成音声スペクトルパラメータ記録部２０１−１から第Ｓ合成音声スペクトルパラメータ記録部２０１−Ｓに記録されているすべての合成音声スペクトルパラメータを集めたものが評価用スペクトルパラメータ集合となる。
【００４７】
第ｓ合成音声独立性指標算出部２５０−ｓは、第ｓ合成音声スペクトルパラメータから第ｓ合成音声独立性指標を算出し、第ｓ合成音声独立性指標記録部２６０−ｓに記録する（Ｓ２５０−ｓ）。第ｓ合成音声独立性指標は第ｓ合成音声スペクトルパラメータの次元間の独立性の程度を表す指標である。第ｓ合成音声独立性指標である第ｓ合成音声推定誤差の算出方法については後ほど説明する。
【００４８】
なお、第ｓ合成音声スペクトルパラメータ記録部２０１−ｓに複数の第ｓ合成音声スペクトルパラメータが記録されている場合は、これに対応する形で複数の第ｓ合成音声独立性指標が第ｓ合成音声独立性指標記録部２６０−ｓに記録されることになる。
【００４９】
独立性指標評価部２７０は、第１合成音声独立性指標、…、第Ｓ合成音声独立性指標の中から最大値をとる第ｓ’合成音声の識別子ｓ’を原音声に最も近い品質を有すると考えられる合成音声を生成する音声合成モデルの識別子として決定する（Ｓ２７０）。複数の第ｓ合成音声独立性指標が第ｓ合成音声独立性指標記録部２６０−ｓに記録されている場合、Ｓ２７０での比較に用いる第ｓ合成音声独立性指標は、平均値、中央値などの代表値を用いればよい。
【００５０】
以下、図８〜図１１を参照して実施例１の第ｓ合成音声独立性指標算出部２５０−ｓについて説明する。図８は、実施例１の第ｓ合成音声独立性指標算出部２５０−ｓの構成を示すブロック図である。図９は、実施例１の第ｓ合成音声独立性指標算出部２５０−ｓの動作を示すフローチャートである。図８に示すように第ｓ合成音声独立性指標算出部２５０−ｓは、推定第ｓ合成音声スペクトルパラメータ生成部２２０−ｓと、推定第ｓ合成音声スペクトルパラメータ記録部２３０−ｓと、第ｓ合成音声推定誤差算出部２４０−ｓを含む。図１０は、実施例１の推定第ｓ合成音声スペクトルパラメータ生成部２２０−ｓの構成を示すブロック図である。図１１は、実施例１の推定第ｓ合成音声スペクトルパラメータ生成部２２０−ｓの動作を示すフローチャートである。図１０に示すように推定第ｓ合成音声スペクトルパラメータ生成部２２０−ｓは、第ｓ合成音声スペクトルパラメータ分割部２２１−ｓと、第１分割第ｓ合成音声スペクトルパラメータ記録部２２２−ｓ−１と、第２分割第ｓ合成音声スペクトルパラメータ記録部２２２−ｓ−２と、推定第２分割第ｓ合成音声スペクトルパラメータ生成部２２３−ｓ−１と、推定第１分割第ｓ合成音声スペクトルパラメータ生成部２２３−ｓ−２と、推定第２分割第ｓ合成音声スペクトルパラメータ記録部２２４−ｓ−１と、推定第１分割第ｓ合成音声スペクトルパラメータ記録部２２４−ｓ−２と、推定第ｓ合成音声スペクトルパラメータ統合部２２５−ｓを含む。
【００５１】
推定第ｓ合成音声スペクトルパラメータ生成部２２０−ｓは、第ｓ合成音声スペクトルパラメータから推定第ｓ合成音声スペクトルパラメータを生成する（Ｓ２２０−ｓ）。以下、Ｓ２２０−ｓの処理について説明する。
【００５２】
最初に、推定第ｓ合成音声スペクトルパラメータ生成部２２０−ｓは、第ｓ合成音声スペクトルパラメータ分割部２２１−ｓを用いて、スペクトルパラメータの次元を基準に第ｓ合成音声スペクトルパラメータを２つのスペクトルパラメータ、第１分割第ｓ合成音声スペクトルパラメータと第２分割第ｓ合成音声スペクトルパラメータに分割し、それぞれ第１分割第ｓ合成音声スペクトルパラメータ記録部２２２−ｓ−１、第２分割第ｓ合成音声スペクトルパラメータ記録部２２２−ｓ−２に記録する（Ｓ２２１−ｓ）。なお、第ｓ合成音声スペクトルパラメータを分割して得られた第１分割第ｓ合成音声スペクトルパラメータ、第２分割第ｓ合成音声スペクトルパラメータは組として対応づけられているものとする。
【００５３】
ここでの分割方法は、スペクトルパラメータ分割部１１０で用いた分割方法と同一のものを用いるものとする。なお、不完全な分割を用いて生成したスペクトルパラメータ推定器を用いて合成音声品質評価装置を構成することも可能である。一般に完全な分割、つまり（条件１）と（条件２）を満たす分割を用いて生成したスペクトルパラメータ推定器を用いた合成音声品質評価装置の評価精度の方が高くなる。
【００５４】
次に、推定第ｓ合成音声スペクトルパラメータ生成部２２０−ｓは、推定第２分割第ｓ合成音声スペクトルパラメータ生成部２２３−ｓ−１を用いて、推定第２分割第ｓ合成音声スペクトルパラメータを生成し、推定第２分割第ｓ合成音声スペクトルパラメータ記録部２２４−ｓ−１に記録する（Ｓ２２３−ｓ−１）。推定第２分割第ｓ合成音声スペクトルパラメータの生成には、第１スペクトルパラメータ推定器学習部１４０−１で学習した第１スペクトルパラメータ推定器を用いる。第ｓ合成音声スペクトルパラメータＣｔｙｐｅ,ｏｒｇを分割して得られる第１分割第ｓ合成音声スペクトルパラメータ、第２分割第ｓ合成音声スペクトルパラメータの組（Ｃｔｙｐｅ,ｓｅｐ１，Ｃｔｙｐｅ,ｓｅｐ２）と第１スペクトルパラメータ推定器ｆｔｙｐｅ,ｓｅｐ１→ｓｅｐ２から推定第２分割第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｓｅｐ２を生成する。
【００５５】
【数４】
0006452591.tif 000005
【００５６】
ここで、ｔを１≦ｔ≦Ｔとすれば、Ｃｔｙｐｅ,ｓｅｐ１からＣ＾ｔｙｐｅ,ｓｅｐ２が生成できる。
【００５７】
同様に、推定第ｓ合成音声スペクトルパラメータ生成部２２０−ｓは、推定第１分割第ｓ合成音声スペクトルパラメータ生成部２２３−ｓ−２を用いて、推定第１分割第ｓ合成音声スペクトルパラメータを生成し、推定第１分割第ｓ合成音声スペクトルパラメータ記録部２２４−ｓ−２に記録する（Ｓ２２３−ｓ−２）。推定第１分割第ｓ合成音声スペクトルパラメータの生成では、第２スペクトルパラメータ推定器学習部１４０−２で学習した第２スペクトルパラメータ推定器を用いる。第１分割第ｓ合成音声スペクトルパラメータ、第２分割第ｓ合成音声スペクトルパラメータの組（Ｃｔｙｐｅ,ｓｅｐ１，Ｃｔｙｐｅ,ｓｅｐ２）と第２スペクトルパラメータ推定器ｆｔｙｐｅ,ｓｅｐ２→ｓｅｐ１から推定第１分割第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｓｅｐ１を生成する。
【００５８】
【数５】
0006452591.tif 000006
【００５９】
ここで、ｔを１≦ｔ≦Ｔとすれば、Ｃｔｙｐｅ,ｓｅｐ２からＣ＾ｔｙｐｅ,ｓｅｐ１が生成できる。
【００６０】
最後に、推定第ｓ合成音声スペクトルパラメータ生成部２２０−ｓは、推定第ｓ合成音声スペクトルパラメータ統合部２２５−ｓを用いて、推定第２分割第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｓｅｐ２と推定第１分割第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｓｅｐ１を統合、推定第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｏｒｇを生成し、推定第ｓ合成音声スペクトルパラメータ記録部２３０−ｓに記録する（Ｓ２２５−ｓ）。推定第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｏｒｇの生成では、スペクトルパラメータ分割部１１０で用いた分割方法と逆の処理を行う。
【００６１】
なお、Ｓ２２３−ｓ−２の処理を省略し、推定第２分割第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｓｅｐ２のみから推定第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｏｒｇを生成することにしてもよい。この場合は、第２分割第ｓ合成音声スペクトルパラメータ記録部２２２−ｓ−２と、推定第１分割第ｓ合成音声スペクトルパラメータ生成部２２３−ｓ−２と、推定第１分割第ｓ合成音声スペクトルパラメータ記録部２２４−ｓ−２が不要となり、推定第ｓ合成音声スペクトルパラメータ統合部２２５−ｓでの処理が異なることとなる。
【００６２】
第ｓ合成音声推定誤差算出部２４０−ｓは、第ｓ合成音声スペクトルパラメータと推定第ｓ合成音声スペクトルパラメータから第ｓ合成音声推定誤差を算出し、第ｓ合成音声推定誤差を第ｓ合成音声独立性指標として第ｓ合成音声独立性指標記録部２６０−ｓに記録する（Ｓ２４０−ｓ）。スペクトルパラメータとしてメルケプストラムを用いた場合、第ｓ合成音声スペクトルパラメータＣｔｙｐｅ,ｏｒｇと推定第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｏｒｇの推定誤差の算出方法として、式（２）のメルケプストラム距離ｄｔｙｐｅを用いることができる。
【００６３】
【数６】
0006452591.tif 000007
【００６４】
推定誤差の算出には、２つのスペクトルパラメータのＲＭＳ（Ｒｏｏｔ Ｍｅａｎｓ Ｓｑｕａｒｅ）誤差、板倉斉藤距離などメルケプストラム距離以外の方法を用いてもよい。
【００６５】
（合成音声品質評価装置の変形例）
合成音声品質評価装置は、原音声の評価用スペクトルパラメータから原音声の独立性指標も算出するようにしてもよい。この場合は、原音声の独立性指標に最も近い合成音声の独立性指標の識別子ｓ’（１≦ｓ’≦Ｓ）に対応する合成音声が最も原音声に近いものであると判断する。
【００６６】
以下、図１２を参照して合成音声品質評価装置２００の変形例である合成音声品質評価装置２０５について説明する。図１２は、合成音声品質評価装置２０５の構成を示すブロック図である。原音声独立性指標算出部２５０−０と、原音声独立性指標記録部２６０−０が追加されている点で合成音声品質評価装置２００と異なる。また、独立性指標評価部２７０の代わりに独立性指標評価部２７５が追加されている点も異なる。合成音声品質評価装置２０５は、原音声スペクトルパラメータ記録部２０１−０とも接続している。
【００６７】
原音声スペクトルパラメータ記録部２０１−０には、評価対象となる原音声スペクトルパラメータを記録しておく。原音声スペクトルパラメータ記録部２０１−０と第１合成音声スペクトルパラメータ記録部２０１−１から第Ｓ合成音声スペクトルパラメータ記録部２０１−Ｓに記録されているすべてのスペクトルパラメータを集めたものが評価用スペクトルパラメータ集合となる。
【００６８】
原音声独立性指標算出部２５０−０と原音声独立性指標記録部２６０−０の機能は第ｓ合成音声独立性指標算出部２５０−ｓと第ｓ合成音声独立性指標記録部２６０−ｓの機能と同様である。
【００６９】
独立性指標評価部２７５は、第ｓ合成音声独立性指標（１≦ｓ≦Ｓ）の中から原音声独立性指標に最も近い値をとる第ｓ’合成音声の識別子ｓ’を原音声に最も近い品質を有すると考えられる合成音声を生成する音声合成モデルの識別子として決定する。
【００７０】
＜実施例１の発明の要点＞
実施例１の発明では、同一フレームのスペクトルパラメータを２つに分割し、分割したお互いのスペクトルパラメータを推定しあうスペクトルパラメータ推定器を学習している。これにより、スペクトルパラメータの次元間の独立性を測定することになる。
【００７１】
一般的に、原音声のスペクトルパラメータの各次元は独立性が高い。したがって、上記スペクトルパラメータ推定器を用いてスペクトルパラメータを推定した場合、正しく推定することができないため、Ｃｔｙｐｅ,ｏｒｇとＣ＾ｔｙｐｅ,ｏｒｇの推定誤差が大きくなる。
【００７２】
一方、音声合成モデルは、原音声から統計モデルを学習することにより、有限個のパラメータ（ＨＭＭの場合、平均ベクトルや分散ベクトル）で原音声の特徴をモデル化することになる。そのため、音声合成モデルから生成したスペクトルパラメータは、有限個のパラメータから算出する都合、次元間の相関性が高くなってしまい、Ｃｔｙｐｅ,ｏｒｇとＣ＾ｔｙｐｅ,ｏｒｇの推定誤差が小さくなる。
【００７３】
実施例１の発明では、音声の品質をスペクトルパラメータの次元間の独立性の高さと考え、原音声と同様にスペクトルパラメータの次元間の独立性が高い（つまり、推定誤差が大きい）合成音声を生成する音声合成モデルが品質の高いモデルであると判断している。
【００７４】
このようにスペクトルパラメータの次元間の相関性に基づく客観評価値を用いることにより、主観評価の評価結果と対応する合成音声の品質評価が可能となる。なお、本発明の有効性を確認するための比較実験の結果については後ほど説明する。
【００７５】
また、主観評価値との対応がよい客観評価値を用いて合成音声の品質評価が可能となることにより、合成音声の品質評価に際して主観評価の手間を省略することが可能となる。これにより、主観評価に係るコストを下げることができ、用途に応じた音声合成モデルの学習方法やパラメータのチューニングにかかるコストを低減することが可能となる。
【実施例２】
【００７６】
実施例１のスペクトルパラメータ分割部１１０では、学習用スペクトルパラメータから２つの分割スペクトルパラメータである第１分割スペクトルパラメータと第２分割スペクトルパラメータを生成し、第１スペクトルパラメータ推定器学習部１４０−１と第２スペクトルパラメータ推定器学習部１４０−２で相互に分割スペクトルパラメータを推定するスペクトルパラメータ推定器を学習している。
【００７７】
しかし、学習用スペクトルパラメータの次元数が小さい場合、十分な分割スペクトルパラメータの推定精度が得られず、第１スペクトルパラメータ推定器学習部１４０−１と第２スペクトルパラメータ推定器学習部１４０−２が学習するスペクトルパラメータ推定器を用いて合成音声の品質評価を行ったとしても原音声、合成音声の推定誤差に差が生じない可能性がある。
【００７８】
そこで、実施例２では、学習用スペクトルパラメータの次元数が小さい場合においても、原音声、合成音声の推定誤差の差が十分に得られるように、スペクトルパラメータ分割部における分割方法を変更する。具体的には、Ｄを２以上の任意の整数として、１つの学習用スペクトルパラメータから第１分割スペクトルパラメータと第２分割スペクトルパラメータの組をＤ個生成する。以下に、実施例１との相違点を中心に実施例２について説明する。
【００７９】
（スペクトルパラメータ推定器学習装置）
以下、図１３、図１４を参照して実施例２のスペクトルパラメータ推定器学習装置３００について説明する。図１３は、実施例２のスペクトルパラメータ推定器学習装置３００の構成を示すブロック図である。図１４は、実施例２のスペクトルパラメータ推定器学習装置３００の動作を示すフローチャートである。図１３に示すようにスペクトルパラメータ推定器学習装置３００は、スペクトルパラメータ分割部３１０と、第ｄ−１分割スペクトルパラメータ記録部３２０−ｄと、第ｄ−２分割スペクトルパラメータ記録部３３０−ｄと、第ｄスペクトルパラメータ推定器学習部３４０−ｄを含む（ただし、１≦ｄ≦Ｄ、Ｄは２以上の整数）。スペクトルパラメータ推定器学習装置３００は、スペクトルパラメータ記録部１０１と接続している。
【００８０】
スペクトルパラメータ分割部３１０は、スペクトルパラメータの次元を基準に学習用スペクトルパラメータを２つのスペクトルパラメータに分割し、Ｄ個の第１分割スペクトルパラメータと第２分割スペクトルパラメータの組を生成し、各組の第１分割スペクトルパラメータと第２分割スペクトルパラメータのそれぞれを第ｄ−１分割スペクトルパラメータ記録部３２０−ｄ、第ｄ−２分割スペクトルパラメータ記録部３３０−ｄに記録する（Ｓ３１０）。なお、学習用スペクトルパラメータを分割して得られた第ｄ−１分割スペクトルパラメータ、第ｄ−２分割スペクトルパラメータは組として対応づけられているものとする。
【００８１】
以下、分割対象となる学習用スペクトルパラメータをＣｔｙｐｅ,ｏｒｇ、第１−１分割スペクトルパラメータと第１−２分割スペクトルパラメータの組をＣｔｙｐｅ,ｓｅｐ１、…、第Ｄ−１分割スペクトルパラメータと第Ｄ−２分割スペクトルパラメータの組をＣｔｙｐｅ,ｓｅｐＤで表すこととする。ここで、添字ｔｙｐｅは、学習の対象となる音声の種類、つまり原音声、第ｓ合成音声のいずれかを示す。また、以下、第ｄ−１分割スペクトルパラメータ、第ｄ−２分割スペクトルパラメータをそれぞれＣｔｙｐｅ,ｓｅｐｄ−１、Ｃｔｙｐｅ,ｓｅｐｄ−２と表すこととする。
【００８２】
Ｃｔｙｐｅ,ｏｒｇ、Ｃｔｙｐｅ,ｓｅｐｄ−１、Ｃｔｙｐｅ,ｓｅｐｄ−２は、いずれもＴフレーム数分のスペクトルパラメータであり、ｔを１≦ｔ≦Ｔとし、Ｍ次元ベクトルｃｔｙｐｅ,ｏｒｇ（ｔ）を用いて、Ｃｔｙｐｅ,ｏｒｇ＝[ｃｔｙｐｅ,ｏｒｇ（１）,…，ｃｔｙｐｅ,ｏｒｇ（Ｔ）]、Ｍ１次元ベクトルｃｔｙｐｅ,ｓｅｐｄ−１（ｔ）を用いて、Ｃｔｙｐｅ,ｓｅｐｄ−１＝[ｃｔｙｐｅ,ｓｅｐｄ−１（１）,…，ｃｔｙｐｅ,ｓｅｐｄ−１（Ｔ）]、Ｍ２次元ベクトルｃｔｙｐｅ,ｓｅｐｄ−２（ｔ）を用いて、Ｃｔｙｐｅ,ｓｅｐｄ−２＝[ｃｔｙｐｅ,ｓｅｐｄ−２（１）,…，ｃｔｙｐｅ,ｓｅｐｄ−２（Ｔ）]とそれぞれ表される。ここで、Ｍを２以上の整数、Ｍ１、Ｍ２は、１≦Ｍ１、Ｍ２≦Ｍ−１を満たす整数である。なお、Ｍ、Ｍ１、Ｍ２を各スペクトルパラメータの次元数という。
【００８３】
Ｍ１＋Ｍ２＝Ｍとなるように、学習用スペクトルパラメータＣｔｙｐｅ,ｏｒｇを分割するには、実施例１と同様、以下の２つの条件を満たすように分割すればよい。
（条件１）第ｄ−１分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐｄ−１、第ｄ−２分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐｄ−２との間に学習用スペクトルパラメータＣｔｙｐｅ,ｏｒｇの同一次元のスペクトルパラメータが含まれてない。
（条件２）学習用スペクトルパラメータＣｔｙｐｅ,ｏｒｇのすべての次元のスペクトルパラメータが第ｄ−１分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐｄ−１、第ｄ−２分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐｄ−２のいずれかに含まれる。
【００８４】
さらに、第１−２分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐ１−２、…、第Ｄ−２分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐＤ−２は、以下の（条件３）、（条件４）も満たすものとする。
（条件３）第１−２分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐ１−２、…、第Ｄ−２分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐＤ−２との間に学習用スペクトルパラメータＣｔｙｐｅ,ｏｒｇの同一次元のスペクトルパラメータが含まれてない。
（条件４）学習用スペクトルパラメータＣｔｙｐｅ,ｏｒｇのすべての次元のスペクトルパラメータが第１−２分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐ１−２、…、第Ｄ−２分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐＤ−２のいずれかに含まれる。
【００８５】
Ｄ＝３、Ｍ＝３０として、（条件１）〜（条件４）を満たす例を示す。まず、（条件３）及び（条件４）を満たすように、Ｃｔｙｐｅ,ｓｅｐ１−２、Ｃｔｙｐｅ,ｓｅｐ２−２、Ｃｔｙｐｅ,ｓｅｐ３−２をそれぞれ１〜１０次元スペクトルパラメータ、１１〜２０次元スペクトルパラメータ、２１〜３０次元スペクトルパラメータとなるように分割する。続いて、（条件１）及び（条件２）を満たすように、Ｃｔｙｐｅ,ｓｅｐ１−１、Ｃｔｙｐｅ,ｓｅｐ２−１、Ｃｔｙｐｅ,ｓｅｐ３−１をそれぞれ１１〜３０次元スペクトルパラメータ、１〜１０次元スペクトルパラメータと２１〜３０次元スペクトルパラメータ、１〜２０次元スペクトルパラメータとすればよい。
【００８６】
第ｄスペクトルパラメータ推定器学習部３４０−ｄは、第ｄ−１分割スペクトルパラメータ記録部３２０−ｄ、第ｄ−２分割スペクトルパラメータ記録部３３０−ｄに記録されている第ｄ−１分割スペクトルパラメータと第ｄ−２分割スペクトルパラメータの組の集合を用いて、第ｄスペクトルパラメータ推定器を学習する（Ｓ３４０−ｄ）。ここで、第ｄスペクトルパラメータ推定器とは、第ｄ−１分割スペクトルパラメータから第ｄ−２分割スペクトルパラメータを推定する関数である。
【００８７】
第ｄスペクトルパラメータ推定器学習部は、第ｄ−１分割スペクトルパラメータと第ｄ−２分割スペクトルパラメータの組（Ｃｔｙｐｅ,ｓｅｐｄ−１，Ｃｔｙｐｅ,ｓｅｐｄ−２）を用いて、第ｄ−１分割スペクトルパラメータＣｔｙｐｅ,ｓｅｐｄ−１から第ｄ−２分割スペクトルパラメータの推定値であるＣ＾ｔｙｐｅ,ｓｅｐｄ−２を推定する関数ｆｔｙｐｅ,ｓｅｐｄ−１→ｓｅｐｄ−２を学習する。
【００８８】
【数７】
0006452591.tif 000008
【００８９】
ここで、ｔを１≦ｔ≦Ｔとすれば、Ｃｔｙｐｅ,ｓｅｐｄ−１からＣ＾ｔｙｐｅ,ｓｅｐｄ−２が推定できる。
【００９０】
第ｄスペクトルパラメータ推定器の学習方法についても、（参考非特許文献５）や（参考非特許文献６）に記載の方法を用いればよい。また、第ｄスペクトルパラメータ推定器学習部３４０−ｄは、実施例１で述べたのと同様、複数の第ｄスペクトルパラメータ推定器を学習するようにしてもよい。
【００９１】
（合成音声品質評価装置）
実施例２の合成音声品質評価装置について説明する。実施例２の合成音声品質評価装置は、実施例１の合成音声品質評価装置２００の構成とほぼ同一である。唯一相違する点は推定第ｓ合成音声スペクトルパラメータ生成部である。
【００９２】
そこで、以下、図１５〜図１６を参照して実施例２の推定第ｓ合成音声スペクトルパラメータ生成部４２０−ｓについて説明する。図１５は、実施例２の推定第ｓ合成音声スペクトルパラメータ生成部４２０−ｓの構成を示すブロック図である。図１６は、実施例２の推定第ｓ合成音声スペクトルパラメータ生成部４２０−ｓの動作を示すフローチャートである。図１５に示すように推定第ｓ合成音声スペクトルパラメータ生成部４２０−ｓは、第ｓ合成音声スペクトルパラメータ分割部４２１−ｓと、第ｄ−１分割第ｓ合成音声スペクトルパラメータ記録部４２２−ｓ−ｄと、推定第ｄ−２分割第ｓ合成音声スペクトルパラメータ生成部４２３−ｓ−ｄと、推定第ｄ−２分割第ｓ合成音声スペクトルパラメータ記録部４２４−ｓ−ｄと、推定第ｓ合成音声スペクトルパラメータ統合部４２５−ｓを含む。
【００９３】
推定第ｓ合成音声スペクトルパラメータ生成部４２０−ｓは、第ｓ合成音声スペクトルパラメータから推定第ｓ合成音声スペクトルパラメータを生成する。
【００９４】
最初に、推定第ｓ合成音声スペクトルパラメータ生成部４２０−ｓは、第ｓ合成音声スペクトルパラメータ分割部４２１−ｓを用いて、スペクトルパラメータの次元を基準に第ｓ合成音声スペクトルパラメータを２つのスペクトルパラメータに分割し、Ｄ個の第１分割スペクトルパラメータと第２分割スペクトルパラメータの組を生成し、各組の第１分割スペクトルパラメータと第２分割スペクトルパラメータのうち、第１分割スペクトルパラメータのみを第ｄ−１分割第ｓ合成音声スペクトルパラメータ記録部４２２−ｓ−ｄに記録する（Ｓ４２１−ｓ）。ここでの分割方法は、スペクトルパラメータ分割部３１０で用いた分割方法と同一のものを用いるものとする。
【００９５】
次に、推定第ｓ合成音声スペクトルパラメータ生成部４２０−ｓは、推定第ｄ−２分割第ｓ合成音声スペクトルパラメータ生成部４２３−ｓ−ｄを用いて、推定第ｄ−２分割第ｓ合成音声スペクトルパラメータを生成し、推定第ｄ−２分割第ｓ合成音声スペクトルパラメータ記録部４２４−ｓ−ｄに記録する（Ｓ４２３−ｓ−ｄ）。推定第ｄ−２分割第ｓ合成音声スペクトルパラメータの生成には、第ｄスペクトルパラメータ推定器学習部３４０−ｄで学習した第ｄスペクトルパラメータ推定器を用いる。第ｓ合成音声スペクトルパラメータＣｔｙｐｅ,ｏｒｇを分割して得られる第ｄ−１分割第ｓ合成音声スペクトルパラメータ、第ｄ−２分割第ｓ合成音声スペクトルパラメータの組（Ｃｔｙｐｅ,ｓｅｐｄ−１，Ｃｔｙｐｅ,ｓｅｐｄ−２）と第ｄスペクトルパラメータ推定器ｆｔｙｐｅ,ｓｅｐｄ−１→ｓｅｐｄ−２から推定第ｄ−２分割第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｓｅｐｄ−２を生成する。
【００９６】
【数８】
0006452591.tif 000009
【００９７】
ここで、ｔを１≦ｔ≦Ｔとすれば、Ｃｔｙｐｅ,ｓｅｐｄ−１からＣ＾ｔｙｐｅ,ｓｅｐｄ−２が生成できる。
【００９８】
最後に、推定第ｓ合成音声スペクトルパラメータ生成部４２０−ｓは、推定第ｓ合成音声スペクトルパラメータ統合部４２５−ｓを用いて、推定第ｄ−２分割第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｓｅｐｄ−２を統合、推定第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｏｒｇを生成し、推定第ｓ合成音声スペクトルパラメータ記録部２３０−ｓに記録する（Ｓ４２５−ｓ）。推定第ｓ合成音声スペクトルパラメータＣ＾ｔｙｐｅ,ｏｒｇの生成では、スペクトルパラメータ分割部３１０で用いた分割方法と逆の処理を行う。
【００９９】
学習用スペクトルパラメータの次元数が小さい場合であっても、分割スペクトルパラメータの推定精度が十分に得られ、原音声・合成音声の推定誤差に十分な差が得られるため、合成音声の品質評価を行うことが可能となる。
【０１００】
＜実験＞
本発明の有効性を確認するために、従来技術（メルケプストラム距離を用いた客観評価）との比較実験を行った。以下、実験条件及び実験結果について説明する。
【０１０１】
実験には、男性話者１名が７７９文章を発話した音声データを用いた。また、音声合成モデルとして３種類のモデルを用いた（Ｓ＝３）。使用した音声合成モデルは、通常のＨＭＭ音声合成（非特許文献１）、ＨＭＭ音声合成（ＧＶ）（非特許文献３）、ＨＭＭ音声合成（ＭＳ）（非特許文献４）である。ＧＶ、ＭＳの２つのモデルは、通常のＨＭＭ音声合成に比べ、合成音声の品質が改善することが知られている。これらの音声データと音声合成モデルを用いて生成したスペクトルパラメータは４０次元のメルケプストラム（０次〜３９次のメルケプストラム）である。
【０１０２】
実験に先立ち、原音声スペクトルパラメータと合成音声スペクトルパラメータの次元間の相関性の有無を確認するために、相関性の分析を行った。先ほどの音声データ（男性話者１名が７７９文章を発話した音声データ）のうち、トライフォン／Ｋ−Ａ＋ｃｌ／の２次、７次のメルケプストラムの散布図（横軸：２次、縦軸：７次）を図１７に示す。図１７を見ればわかるように、原音声に比べ、合成音声はそのバラつきが小さく、明らかに相関性がある分布になっている。さらに、ＧＶやＭＳの分布は、通常のＨＭＭの分布に比べ、原音声の分布に近づいていることもわかる。
【０１０３】
また、次元間の相関性を定量的に評価するために、ＭＩＣ（Ｍａｘｉｍａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）（参考非特許文献７）も算出した。当該算出値も（ＭＩＣ＝ＸＸＸ）として合わせて図１７に記載した。ＭＩＣとは、データ間の非線形な関係を捉えることが可能な係数であり、Ｐｅａｒｓｏｎの相関係数と同様に０〜１の値をとる。数値が大きいほどデータ間の相関が強く、小さいほど相関が弱いことが知られている。原音声のＭＩＣ（０．２０５）が最も小さく、通常のＨＭＭのＭＩＣ（０．５０１）が最も大きくなっていることから、合成音声はスペクトルパラメータの次元間に相関性があることがわかる。また、ＧＶ、ＭＳでは、ＭＩＣの値が０．４０１、０．４５と通常のＨＭＭに比べて小さくなっていることから、原音声に近いこともわかる。
（参考非特許文献７）D. N. Reshef, Y. A. Reshef, H. K. Finucane, S. R. Grossman, G. McVean, P. J. Turnbaugh, E. S. Lander, M. M. Mitzenmacher, P. C. Sabeti, “Detecting Novel Associations in Large Data Sets”, Science, Dec. 2011, Vol.334 No.6062 pp. 1518-1524.
【０１０４】
（実験条件）
上記７７９文章のうち、６５０文章を学習用スペクトルパラメータ、学習に用いない１２９文章を評価用スペクトルパラメータの生成に用いた。また、スペクトルパラメータ推定器の学習には、ＡＮＮによる手法（非特許文献６）を用いた。スペクトルパラメータの分割方法として、低次元のメルケプストラム（１〜１９次）と高次元のメルケプストラム（２０〜３９次）を生成する方法を採用した。ここで、０次元目のメルケプストラム（音声のパワー）はメルケプストラム距離の計算に使用しないこと、０次元目のメルケプストラムを生成しないこととしてもスペクトルパラメータの推定精度に対する影響は小さいと考えられることから、１〜３９次のメルケプストラムを生成することとした。
【０１０５】
従来技術と本発明との比較のために、音声合成モデルごとに、従来技術については原音声スペクトルパラメータと合成音声スペクトルパラメータのメルケプストラム距離（式（１））、本発明については評価用スペクトルパラメータと推定スペクトルパラメータのメルケプストラム距離（式（２））を算出した。
【０１０６】
また、算出した２つの客観評価値と主観評価値の関係を見るために、主観評価実験も行った。主観評価実験では、５名の被験者が原音声、各音声合成モデルの合成音声について２０文章ずつ計８０文章の自然性に関するＭＯＳ評価（１：非常に悪い、２：悪い、３：普通、４：良い、５：非常に良い）を行った。
【０１０７】
なお、合成音声の品質の評価にメルケプストラム以外の音響特徴量であるＦ０や音素継続時間長が影響を与えないように、各音声合成モデルの合成音声のＦ０、音素継続時間長は原音声のそれと同一のものを使用した。
【０１０８】
（実験結果）
実験結果を図１８に示す。従来技術では、一般的にＨＭＭより合成音声の品質が改善することができる手法であるＧＶやＭＳについて、メルケプストラム距離が大きくなってしまい、合成音声の品質を正しく推定することができていないことがわかる。一方、本発明では、ＨＭＭに比べ、ＧＶやＭＳのメルケプストラム距離が原音声に近くなっており、合成音声の品質を推定できていることがわかる。実際、主観評価値との比較を行うと、本発明における客観評価値（式（２）の値）が大きくなると、主観評価値が高くなっていることがわかる。つまり、主観評価の評価結果と客観値が対応している。
【０１０９】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【０１１０】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【０１１１】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【０１１２】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１１３】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【０１１４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）等を、光磁気記録媒体として、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｃ）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を用いることができる。
【０１１５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１１６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１１７】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0006452591.tif 000010
【図２】
0006452591.tif 000011
【図３】
0006452591.tif 000012
【図４】
0006452591.tif 000013
【図５】
0006452591.tif 000014
【図６】
0006452591.tif 000015
【図７】
0006452591.tif 000016
【図８】
0006452591.tif 000017
【図９】
0006452591.tif 000018
【図１０】
0006452591.tif 000019
【図１１】
0006452591.tif 000020
【図１２】
0006452591.tif 000021
【図１３】
0006452591.tif 000022
【図１４】
0006452591.tif 000023
【図１５】
0006452591.tif 000024
【図１６】
0006452591.tif 000025
【図１７】
0006452591.tif 000026
【図１８】
0006452591.tif 000027