(57)【要約】【課題】目標話者の音声データではない合成対象言語での音声データが１名分しかない場合であっても、その目標話者による合成対象言語での音声を合成することが可能となるクロスリンガル音声合成技術を提供する。【解決手段】目標話者音声データと学習対象言語音声データnから時間情報調整後目標話者音声データnと時間情報調整後学習対象言語音声データnを生成する時間情報調整部１０１と、時間情報調整後目標話者音声データnと時間情報調整後学習対象言語音声データnの組から不特定話者声質変換器を学習する声質変換器学習部１０３と、不特定話者声質変換器を用いて、合成対象言語音声データから目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換部１１１と、声質変換後合成対象言語音声データと合成対象言語発話情報集合からクロスリンガル音声合成用モデルを学習する合成用モデル学習部１１３とを含む。【選択図】図２
2018084604.tif 000002
【特許請求の範囲】
【請求項１】
Nを1以上の整数、nを1≦n≦Nなる整数とし、
目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者nによる学習対象言語での音声データである学習対象言語音声データn(1≦n≦N)は、同一の文章を発話した音声データであり、
前記目標話者音声データと前記学習対象言語音声データn(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習装置であって、
前記目標話者音声データと前記学習対象言語音声データnとの時間情報を調整し、時間情報調整後目標話者音声データnと時間情報調整後学習対象言語音声データnを生成する時間情報調整部と、
前記時間情報調整後目標話者音声データnと前記時間情報調整後学習対象言語音声データnの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習部と、
前記不特定話者声質変換器を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データから、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換部と、
前記声質変換後合成対象言語音声データと前記合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習部と
を含むクロスリンガル音声合成用モデル学習装置。
【請求項２】
Nを1以上の整数、nを1≦n≦Nなる整数とし、
目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者nによる学習対象言語での音声データである学習対象言語音声データn(1≦n≦N) は、同一の文章を発話した音声データであり、
前記目標話者音声データと前記学習対象言語音声データn(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習装置であって、
学習対象言語の音素と合成対象言語の音素の対応関係を示す発音ベクトル作成規則を記録した記録部と、
前記目標話者音声データと前記学習対象言語音声データnとの時間情報を調整し、時間情報調整後目標話者音声データnと時間情報調整後学習対象言語音声データnを生成する時間情報調整部と、
前記発音ベクトル作成規則を用いて、前記学習対象言語音声データnに含まれる発話の発話情報の集合である学習対象言語発話情報集合nから、前記発話情報から算出される発音ベクトルの集合である学習対象言語発音ベクトル集合nを生成する第１発音ベクトル生成部と、
前記時間情報調整後目標話者音声データnと前記時間情報調整後学習対象言語音声データnと前記学習対象言語発音ベクトル集合nの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習部と、
前記発音ベクトル作成規則を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記発話情報から算出される発音ベクトルの集合である合成対象言語発音ベクトル集合を生成する第２発音ベクトル生成部と、
前記不特定話者声質変換器を用いて、前記合成対象言語音声データと前記合成対象言語発音ベクトル集合から、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換部と、
前記声質変換後合成対象言語音声データと前記合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習部と
を含むクロスリンガル音声合成用モデル学習装置。
【請求項３】
請求項１に記載のクロスリンガル音声合成用モデル学習装置であって、
Mを1以上の整数、mを1≦m≦Mなる整数とし、
前記声質変換部は、合成対象言語入力話者mによる合成対象言語での音声データである合成対象言語音声データmから、前記目標話者の声質を有する声質変換後合成対象言語音声データmを生成し、
前記合成用モデル学習部は、前記声質変換後合成対象言語音声データmと前記合成対象言語音声データmに含まれる発話の発話情報の集合である合成対象言語発話情報集合m(1≦m≦M)から、前記クロスリンガル音声合成用モデルを学習する
ことを特徴とするクロスリンガル音声合成用モデル学習装置。
【請求項４】
請求項３に記載のクロスリンガル音声合成用モデル学習装置であって、
さらに、
前記声質変換後合成対象言語音声データmと前記目標話者音声データの類似の程度を示す類似度mを算出し、前記類似度mに基づいて前記声質変換後合成対象言語音声データmが前記目標話者音声データに類似していると判定される場合、前記声質変換後合成対象言語音声データmを前記目標話者音声データに類似している声質変換後合成対象言語音声データの集合である目標話者類似合成対象言語音声データ集合に追加していくことにより、前記目標話者類似合成対象言語音声データ集合を生成する話者類似性判定部を含み、
前記合成用モデル学習部は、前記目標話者類似合成対象言語音声データ集合と前記合成対象言語発話情報m(1≦m≦M)から、前記クロスリンガル音声合成用モデルを学習する
ことを特徴とするクロスリンガル音声合成用モデル学習装置。
【請求項５】
請求項１ないし４のいずれか１項に記載のクロスリンガル音声合成用モデル学習装置で学習したクロスリンガル音声合成用モデルを用いて、音声合成の対象となる合成対象言語でのテキストである合成テキストから当該合成テキストの合成音声を生成するクロスリンガル音声合成装置であって、
前記合成テキストから、当該合成テキストのコンテキスト情報を生成するテキスト解析部と、
前記クロスリンガル音声合成用モデルを用いて、前記コンテキスト情報から音声パラメータを生成する音声パラメータ生成部と、
前記音声パラメータから、前記合成音声を生成する音声波形生成部と
を含むクロスリンガル音声合成装置。
【請求項６】
Nを1以上の整数、nを1≦n≦Nなる整数とし、
目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者nによる学習対象言語での音声データである学習対象言語音声データn(1≦n≦N) は、同一の文章を発話した音声データであり、
クロスリンガル音声合成用モデル学習装置が、前記目標話者音声データと前記学習対象言語音声データn(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習方法であって、
前記クロスリンガル音声合成用モデル学習装置が、前記目標話者音声データと前記学習対象言語音声データnとの時間情報を調整し、時間情報調整後目標話者音声データnと時間情報調整後学習対象言語音声データnを生成する時間情報調整ステップと、
前記クロスリンガル音声合成用モデル学習装置が、前記時間情報調整後目標話者音声データnと前記時間情報調整後学習対象言語音声データnの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習ステップと、
前記クロスリンガル音声合成用モデル学習装置が、前記不特定話者声質変換器を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データから、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換ステップと、
前記クロスリンガル音声合成用モデル学習装置が、前記声質変換後合成対象言語音声データと前記合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習ステップと
を含むクロスリンガル音声合成用モデル学習方法。
【請求項７】
Nを1以上の整数、nを1≦n≦Nなる整数とし、
目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者nによる学習対象言語での音声データである学習対象言語音声データn(1≦n≦N) は、同一の文章を発話した音声データであり、
学習対象言語の音素と合成対象言語の音素の対応関係を示す発音ベクトル作成規則を記録した記録部を有するクロスリンガル音声合成用モデル学習装置が、前記目標話者音声データと前記学習対象言語音声データn(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習方法であって、
前記クロスリンガル音声合成用モデル学習装置が、前記目標話者音声データと前記学習対象言語音声データnとの時間情報を調整し、時間情報調整後目標話者音声データnと時間情報調整後学習対象言語音声データnを生成する時間情報調整ステップと、
前記クロスリンガル音声合成用モデル学習装置が、前記発音ベクトル作成規則を用いて、前記学習対象言語音声データnに含まれる発話の発話情報の集合である学習対象言語発話情報集合nから、前記発話情報から算出される発音ベクトルの集合である学習対象言語発音ベクトル集合nを生成する第１発音ベクトル生成ステップと、
前記クロスリンガル音声合成用モデル学習装置が、前記時間情報調整後目標話者音声データnと前記時間情報調整後学習対象言語音声データnと前記学習対象言語発音ベクトル集合nの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習ステップと、
前記クロスリンガル音声合成用モデル学習装置が、前記発音ベクトル作成規則を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記発話情報から算出される発音ベクトルの集合である合成対象言語発音ベクトル集合を生成する第２発音ベクトル生成ステップと、
前記クロスリンガル音声合成用モデル学習装置が、前記不特定話者声質変換器を用いて、前記合成対象言語音声データと前記合成対象言語発音ベクトル集合から、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換ステップと、
前記クロスリンガル音声合成用モデル学習装置が、前記声質変換後合成対象言語音声データと前記合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習ステップと
を含むクロスリンガル音声合成用モデル学習方法。
【請求項８】
請求項１ないし４のいずれか１項に記載のクロスリンガル音声合成用モデル学習装置、または請求項５に記載のクロスリンガル音声合成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成技術に関し、特にクロスリンガル音声合成技術に関する。
【背景技術】
【０００２】
近年、主流となっている音声合成方式として、統計的パラメトリック音声合成がある。例えば、HMM（Hidden Markov Model）音声合成（非特許文献１）、DNN（Deep Neural Networks）音声合成（非特許文献２）がある。これらの手法では、音声の特徴量であるスペクトルパラメータ（ケプストラム、メルケプストラム等）、音高パラメータ（F0）等の音声パラメータを統計的にモデル化する。これにより、比較的少量の学習用音声データから任意の話者の安定した品質の合成音声を生成することが可能となる。
【０００３】
この統計的パラメトリック音声合成を用いて、任意の話者の声質で、日本語や英語などの任意の言語で音声合成を実現する場合、一般には当該話者が当該言語で発話した音声データが必要となる。しかし、当該話者が当該言語を発声できない等の理由でそのような音声データを必ずしも入手できるとは限らない。このような問題を解決するために、クロスリンガル音声合成手法が提案されている（非特許文献３、非特許文献４）。
【０００４】
このクロスリンガル音声合成手法では、合成音声の生成対象となる目標話者の合成対象言語とは異なる学習対象言語の音声データを用いることで、目標話者の声質を持つ合成対象言語での合成音声を生成することが可能となる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】益子貴史，徳田恵一，小林隆夫，今井聖，“動的特徴を用いたHMMに基づく音声合成”，電子情報通信学会論文誌 D-II， vol.J79-D-II， No.12, pp.2184-2190, 1996.
【非特許文献２】Heiga Zen, Andrew Senior, Mike Schuster, “Statistical parametric speech synthesis using deep neural networks”, IEEE International Conference on Acoustics, Speech and Signal Processing ICASSP 2013, pp.7962-7966, 2013.
【非特許文献３】Masanobu Abe, Kiyohiro Shikano, Hisao Kuwabara, “Cross-language voice conversion”, IEEE International Conference on Acoustics, Speech and Signal Processing ICASSP-90, pp.345-348, 1990.
【非特許文献４】Yi-Jian Wu, Yoshihiko Nankaku, Keiichi Tokuda, “State mapping based method for cross-lingual speaker adaptation in HMM-based speech synthesis”, INTERSPEECH 2009, 10th Annual Conference of the International Speech Communication Association, pp.528-531, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献３の手法では、合成対象言語と学習対象言語のバイリンガル話者が発声した両言語の音声データが必要となる。また、非特許文献４の手法では、合成対象言語と学習対象言語の各言語で多くの話者による音声データが必要となる。
【０００７】
そのため、バイリンガル話者による音声データを集めること、各言語の多数話者による音声データを集めることが難しい場合、いずれの手法も適用することができない。特に、合成対象言語の数が多くなると、このような問題が顕著になる。
【０００８】
そこで本発明は、目標話者の音声データではない合成対象言語での音声データが１名分しかない場合であっても、その目標話者による合成対象言語での音声を合成することが可能となるクロスリンガル音声合成技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様は、Nを1以上の整数、nを1≦n≦Nなる整数とし、目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者nによる学習対象言語での音声データである学習対象言語音声データn(1≦n≦N)は、同一の文章を発話した音声データであり、前記目標話者音声データと前記学習対象言語音声データn(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習装置であって、前記目標話者音声データと前記学習対象言語音声データnとの時間情報を調整し、時間情報調整後目標話者音声データnと時間情報調整後学習対象言語音声データnを生成する時間情報調整部と、前記時間情報調整後目標話者音声データnと前記時間情報調整後学習対象言語音声データnの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習部と、前記不特定話者声質変換器を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データから、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換部と、前記声質変換後合成対象言語音声データと前記合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習部とを含む。
【００１０】
本発明の一態様は、Nを1以上の整数、nを1≦n≦Nなる整数とし、目標話者による学習対象言語での音声データである目標話者音声データと学習対象言語入力話者nによる学習対象言語での音声データである学習対象言語音声データn(1≦n≦N) は、同一の文章を発話した音声データであり、前記目標話者音声データと前記学習対象言語音声データn(1≦n≦N)から、前記目標話者による合成対象言語での音声を合成するクロスリンガル音声合成用モデルを学習するクロスリンガル音声合成用モデル学習装置であって、学習対象言語の音素と合成対象言語の音素の対応関係を示す発音ベクトル作成規則を記録した記録部と、前記目標話者音声データと前記学習対象言語音声データnとの時間情報を調整し、時間情報調整後目標話者音声データnと時間情報調整後学習対象言語音声データnを生成する時間情報調整部と、前記発音ベクトル作成規則を用いて、前記学習対象言語音声データnに含まれる発話の発話情報の集合である学習対象言語発話情報集合nから、前記発話情報から算出される発音ベクトルの集合である学習対象言語発音ベクトル集合nを生成する第１発音ベクトル生成部と、前記時間情報調整後目標話者音声データnと前記時間情報調整後学習対象言語音声データnと前記学習対象言語発音ベクトル集合nの組(1≦n≦N)から、任意の音声データを前記目標話者の声質を有する音声データに変換する不特定話者声質変換器を学習する声質変換器学習部と、前記発音ベクトル作成規則を用いて、合成対象言語入力話者による合成対象言語での音声データである合成対象言語音声データに含まれる発話の発話情報の集合である合成対象言語発話情報集合から、前記発話情報から算出される発音ベクトルの集合である合成対象言語発音ベクトル集合を生成する第２発音ベクトル生成部と、前記不特定話者声質変換器を用いて、前記合成対象言語音声データと前記合成対象言語発音ベクトル集合から、前記目標話者の声質を有する声質変換後合成対象言語音声データを生成する声質変換部と、前記声質変換後合成対象言語音声データと前記合成対象言語発話情報集合から、前記クロスリンガル音声合成用モデルを学習する合成用モデル学習部とを含む。
【発明の効果】
【００１１】
本発明によれば、任意の音声データを目標話者の声質を有する音声データに変換する声質変換器を学習することにより、目標話者の音声データではない合成対象言語での音声データが１名分しかない場合であっても、その目標話者による合成対象言語での音声を合成するためのモデルを生成することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】音素セグメンテーション情報の一例を示す図。
【図２】クロスリンガル音声合成用モデル学習装置１００の構成の一例を示す図。
【図３】クロスリンガル音声合成用モデル学習装置１００の動作の一例を示す図。
【図４】不特定話者声質変換器学習装置１１０の構成の一例を示す図。
【図５】不特定話者声質変換器学習装置１１０の動作の一例を示す図。
【図６】音声合成用モデル学習装置１２０の構成の一例を示す図。
【図７】音声合成用モデル学習装置１２０の動作の一例を示す図。
【図８】クロスリンガル音声合成装置２００の構成の一例を示す図。
【図９】クロスリンガル音声合成装置２００の動作の一例を示す図。
【図１０】発音ベクトル作成規則の一例を示す図。
【図１１】クロスリンガル音声合成用モデル学習装置３００の構成の一例を示す図。
【図１２】不特定話者声質変換器学習装置３１０の構成の一例を示す図。
【図１３】不特定話者声質変換器学習装置３１０の動作の一例を示す図。
【図１４】音声合成用モデル学習装置３２０の構成の一例を示す図。
【図１５】音声合成用モデル学習装置３２０の動作の一例を示す図。
【図１６】発音ベクトル作成規則生成装置４００の構成の一例を示す図。
【図１７】発音ベクトル作成規則生成装置４００の動作の一例を示す図。
【図１８】第１発音統計情報生成部４１０の動作の一例を示す図。
【図１９】発音類似性判定部４２０の動作の一例を示す図。
【図２０】音声合成用モデル学習装置５２０の構成の一例を示す図。
【図２１】音声合成用モデル学習装置５２０の動作の一例を示す図。
【図２２】音声合成用モデル学習装置６２０の構成の一例を示す図。
【図２３】音声合成用モデル学習装置６２０の動作の一例を示す図。
【図２４】話者類似性判定部６１２の動作の一例を示す図。
【図２５】音声合成用モデル学習装置７２０の構成の一例を示す図。
【図２６】音声合成用モデル学習装置７２０の動作の一例を示す図。
【図２７】音声合成用モデル学習装置８２０の構成の一例を示す図。
【図２８】音声合成用モデル学習装置８２０の動作の一例を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１４】
＜表記方法＞
_（アンダースコア）は下付き添字を表す。例えば、xy_zはyzがxに対する上付き添字であり、xy_zはyzがxに対する下付き添字であることを表す。
【００１５】
＜定義＞
以下、各実施形態で用いる用語について説明する。
【００１６】
［音声合成用モデル］
音声合成用モデルとは、音声合成に必要となる音声特徴量・音響特徴量（以下、音声パラメータという）を統計的にモデル化したものである。音声パラメータの例として、ケプストラム、メルケプストラム等のスペクトルパラメータや基本周波数（F0）等の音高パラメータがある。音声合成用モデルは、後述する音声データと発話情報を用いて学習する。音声合成用モデルの学習手法はいくつか提案されており、例えばHMM音声合成（非特許文献１）、DNN音声合成（非特許文献２）がある。
【００１７】
［音声データ］
音声データとは、各学習（具体的には、不特定話者声質変換器の学習、クロスリンガル音声合成用モデルの学習）に用いるため、あらかじめ収録しておく音声データのことである。音声データは、話者が発話した文章の音声であり、音声データに対して信号処理を行った結果、得られる音声パラメータ（スペクトルパラメータ、音高パラメータ）として記録するのでもよい。
【００１８】
不特定話者声質変換器の学習には、目標話者による学習対象言語での音声データ（以下、目標話者音声データという）、N名の話者による学習対象言語での音声データ（以下、学習対象言語音声データn(1≦n≦N)という）が必要である。ここで、目標話者とは合成対象言語での合成音声の生成の対象となる主体である。目標話者音声データと学習対象言語音声データn(1≦n≦N)は、同一の文章を発話した音声データである必要がある。
【００１９】
また、クロスリンガル音声合成用モデルの学習には、M名の話者による合成対象言語での音声データ（以下、合成対象言語音声データm(1≦m≦M)という）が必要である。ただし、M=1であってもよい。つまり最低1名分の合成対象言語音声データがあればよい。このとき、合成対象言語音声データ1の代わりに単に合成対象言語音声データということにする。
【００２０】
なお、学習対象言語音声データnを発話した話者のことを学習対象言語入力話者nという。また、合成対象言語音声データmを発話した話者のことを合成対象言語入力話者mという。一般に、学習対象言語入力話者n(1≦n≦N)、合成対象言語入力話者m(1≦m≦M)は、目標話者と異なる。
【００２１】
［発話情報］
発話情報とは、音声データ中の各発話（話者が発話した文章の音声）に対して付与される発音情報等の情報のことである。音声データ中の各発話に一つの発話情報が付与されている。
【００２２】
発話情報には、少なくとも各発話に対応する発音情報（読み、音素）が含まれる。また、各音素の開始時間と終了時間の情報である音素セグメンテーション情報が含まれていてもよい。ここでいう開始時間・終了時間は、各発話の始点を0[秒]としたときの経過時間のことである。音素セグメンテーション情報の一例を図１に示す。
【００２３】
また、発話情報には、音素や音素セグメンテーション情報以外の情報、例えば、アクセント情報（アクセント型、アクセント句長）、品詞情報を含んでいてもよい。
【００２４】
＜第一実施形態＞
以下、図２〜図９を参照してクロスリンガル音声合成用モデル学習装置１００、クロスリンガル音声合成装置２００について説明する。
【００２５】
［クロスリンガル音声合成用モデル学習装置１００］
図２に示すようにクロスリンガル音声合成用モデル学習装置１００は、不特定話者声質変換器学習装置１１０、音声合成用モデル学習装置１２０、記録部１９０を含む。記録部１９０は、クロスリンガル音声合成用モデル学習装置１００の処理に必要な情報を適宜記録する構成部である。クロスリンガル音声合成用モデル学習装置１００は、目標話者音声データ、学習対象言語音声データn(1≦n≦N)、合成対象言語音声データとその合成対象言語音声データに含まれる発話の発話情報の集合（以下、合成対象言語発話情報集合という）を入力として、目標話者による合成対象言語での音声を合成するクロスリンガル音声合成モデルを学習し、出力する。
【００２６】
図３に従いクロスリンガル音声合成用モデル学習装置１００の動作について説明する。不特定話者声質変換器学習装置１１０は、目標話者音声データ、学習対象言語音声データn(1≦n≦N)を入力として、任意の音声データを目標話者の声質を有する音声データへ変換する不特定話者声質変換器を学習し、出力する（Ｓ１１０）。音声合成用モデル学習装置１２０は、合成対象言語音声データと合成対象言語発話情報集合を入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ１２０）。その際、不特定話者声質変換器を用いて、合成対象言語音声データを目標話者の声質を持つ音声データ（以下、声質変換後合成対象言語音声データという）へ変換する。
【００２７】
以下、不特定話者声質変換器学習装置１１０、音声合成用モデル学習装置１２０の構成、動作について詳細に説明していく。
【００２８】
まず、図４〜図５を参照して不特定話者声質変換器学習装置１１０について説明する。図４に示すように不特定話者声質変換器学習装置１１０は、時間情報調整部１０１、声質変換器学習部１０３を含む。図５に従い不特定話者声質変換器学習装置１１０の動作について説明する。
【００２９】
時間情報調整部１０１は、目標話者音声データ、学習対象言語音声データn(1≦n≦N)を入力として、目標話者音声データと学習対象言語音声データnに含まれる各文章の音声（つまり、発話）の時間情報をそろえた音声データ（以下、時間情報調整後目標話者音声データn、時間情報調整後学習対象言語音声データnという）を生成し、出力する（Ｓ１０１）。目標話者音声データについては、学習対象言語音声データn(1≦n≦N)それぞれと時間情報を調整するため、N名の学習対象言語入力話者それぞれに対する時間調整後の音声データである時間情報調整後目標話者音声データn(1≦n≦N)が生成される。時間情報の調整には、目標話者音声データと学習対象言語音声データnのフレーム間の対応付けを行う方法を用いればよい。例えば、多くの声質変換手法と同様、動的時間伸縮（Dynamic Time Warping, DTW）、DP（Dynamic Programming）マッチングを用いることができる。
【００３０】
声質変換器学習部１０３は、時間情報調整後目標話者音声データnと時間情報調整後学習対象言語音声データnの組(1≦n≦N)を入力として、不特定話者声質変換器を学習し、出力する（Ｓ１０３）。例えば、時間情報調整後目標話者音声データn、時間情報調整後学習対象言語音声データnがスペクトルパラメータとして表現される場合、次のようにして不特定話者声質変換器を学習する。
【００３１】
時間情報調整後目標話者音声データnのスペクトルパラメータをCn,target(t)、時間情報調整後学習対象言語音声データnのスペクトルパラメータをCn,train(t)とする（tはフレーム番号を表す）。時間情報調整後学習対象言語音声データnのスペクトルパラメータCn,train(t)と時間情報調整後目標話者音声データnのスペクトルパラメータCn,target(t)の組を学習データとして、入力話者スペクトルパラメータctrain(t)から目標話者の声質に対応する目標話者スペクトルパラメータc^target(t)へ変換する不特定話者声質変換器ftrain→targetを学習する。
【００３２】
【数１】
2018084604.tif 000003
【００３３】
ここで、不特定話者声質変換器ftrain→targetは、あるフレームtの任意の入力話者スペクトルパラメータから目標話者スペクトルパラメータへ変換する声質変換器となる。
【００３４】
一般的な声質変換器の学習方法では、話者Bの声質を有する音声データへ変換する声質変換器を学習するために話者Aの音声データを用いると、声質変換器の学習に使用した話者Aの音声データを入力しない限り、話者Bの声質を有する音声データへ変換することができない。そこで、ここでは、声質変換器の学習方法として、（参考非特許文献１）のニューラルネットワークに基づく方法を用いる。
（参考非特許文献１）能勢隆，篠崎隆宏，伊藤洋二郎，伊藤彰則，“ニューラルネットワークに基づくユーザ音声を必要としない多対一声質変換の検討”, 日本音響学会論文集２０１５年３月, 3-2-1, pp.271-274, 2015
（参考非特許文献１）では、声質変換器を学習する際、声質変換器の入力となる多数の学習対象言語入力話者の音声データと、声質変換器の出力となる1名の目標話者の音声データを学習データとして用いる。これにより、どのような話者の音声データを入力しても目標話者の声質を有する音声データに変換することが可能となる。
【００３５】
次に、図６〜図７を参照して音声合成用モデル学習装置１２０について説明する。図６に示すように音声合成用モデル学習装置１２０は、声質変換部１１１、合成用モデル学習部１１３を含む。図７に従い音声合成用モデル学習装置１２０の動作について説明する。
【００３６】
声質変換部１１１は、合成対象言語音声データを入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データを生成し、出力する（Ｓ１１１）。例えば、不特定話者声質変換器が式(1)で表される場合、合成対象言語音声データのスペクトルパラメータCsynth,org(t)から目標話者の声質を有する合成対象言語の目標話者スペクトルパラメータC^synth,target(t)へ変換する（tはフレーム番号）。
【００３７】
【数２】
2018084604.tif 000004
【００３８】
声質変換器の学習に（参考非特許文献１）を用いた場合は、（参考非特許文献１）に従い声質変換を行えばよい。式(1)に従い計算された目標話者スペクトルパラメータC^synth,target(t)が声質変換後合成対象言語音声データである。
【００３９】
合成用モデル学習部１１３は、Ｓ１１１で生成した声質変換後合成対象言語音声データと、合成対象言語発話情報集合を入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ１１３）。クロスリンガル音声合成用モデルの学習には、（非特許文献１）、（非特許文献２）などを用いることができる。
【００４０】
以下、クロスリンガル音声合成装置２００について説明していくが、クロスリンガル音声合成用モデルは（非特許文献１）にあるようなHMM音声合成用モデルであるとする。
【００４１】
［クロスリンガル音声合成装置２００］
図８に示すようにクロスリンガル音声合成装置２００は、テキスト解析部２１０、音声パラメータ生成部２２０、音声波形生成部２３０、記録部２９０を含む。記録部２９０は、クロスリンガル音声合成装置２００の処理に必要な情報を適宜記録する構成部である。クロスリンガル音声合成装置２００は、音声合成の対象となる合成対象言語でのテキストである合成テキストを入力として、クロスリンガル音声合成用モデルを用いて、合成テキストを読み上げた合成音声を生成し、出力する。
【００４２】
図９に従いクロスリンガル音声合成装置２００の動作について説明する。テキスト解析部２１０は、合成テキストを入力として、テキスト解析により、合成テキストの読み、アクセント等のコンテキスト情報を生成し、出力する（Ｓ２１０）。音声パラメータ生成部２２０は、Ｓ２１０で生成したコンテキスト情報を入力として、クロスリンガル音声合成用モデルを用いて音声パラメータ（スペクトルパラメータや音高パラメータ）を生成し、出力する（Ｓ２２０）。音声波形生成部２３０は、Ｓ２２０で生成した音声パラメータを入力として、音声合成フィルタを用いて合成音声を生成し、出力する（Ｓ２３０）。音声合成フィルタは、例えば、（参考非特許文献２）に記載のものを用いればよい。
（参考非特許文献２）今井聖，住田一男，古市千枝子，“音声合成のためのメル対数スペクトル近似（MLSA）フィルタ”，電子情報通信学会論文誌 A, Vol.J66-A, No.2, pp.122-129, 1983.
【００４３】
なお、目標話者音声データ、学習対象言語音声データn(1≦n≦N)の代わりに、あらかじめ時間情報を調整した時間情報調整後目標話者音声データn(1≦n≦N)、時間情報調整後学習対象言語音声データn(1≦n≦N)をクロスリンガル音声合成用モデル学習装置に入力するように構成することもできる。
【００４４】
本実施形態の発明によれば、あらかじめ用意した目標話者音声データとN名分の学習対象言語音声データを入力として学習した不特定話者声質変換器を用いて、目標話者とは異なる1名分の合成対象言語音声データを目標話者の声質を有する声質変換後合成対象言語音声データに変換する。次に、声質変換後合成対象言語音声データと、合成対象言語音声データの発話情報の集合から統計的パラメトリック音声合成であるクロスリンガル音声合成用モデル、つまり目標話者による合成対象言語での音声を合成するためのモデルを学習する。
【００４５】
これにより、N名分の学習対象言語音声データと1名分の合成対象言語音声データからのクロスリンガル音声合成のためのモデルを生成することが可能となり、当該モデルを用いることでクロスリンガル音声合成が可能となる。このため、学習対象言語と合成対象言語のバイリンガル話者による音声データや、学習対象言語と合成対象言語のそれぞれについて多数の話者による音声データを事前に用意する必要がなくなる。したがって、従来に比して低コストでクロスリンガル音声合成を実現することができる。
【００４６】
＜第二実施形態＞
第一実施形態では、不特定話者声質変換器の学習、不特定話者声質変換器による声質変換に際して、音声データ（スペクトルパラメータ）のみを使用している。つまり、音声データに付随する発話情報を使用せずに学習した不特定話者声質変換器を用いて声質変換をしている。このため、声質変換の精度が劣化し、最終的な合成音声の品質が劣化してしまう可能性がある。
【００４７】
そこで、本実施形態では、不特定話者声質変換器の学習、不特定話者声質変換器による声質変換に際して、発話情報も使用することを考える。しかし、一般に言語が異なると、例えば、音素体系のような発音情報が異なってしまうため、このままでは不特定話者声質変換器の学習、不特定話者声質変換器による声質変換に際して、発話情報を使用することはできない。発話情報を使用することができるようするため、学習対象言語と合成対象言語における発音情報の違いを吸収する目的で、両言語の類似した発音情報（音素）の対応関係を作成する。これにより、両言語間の発音情報の違いを考慮した不特定話者声質変換器の学習、不特定話者声質変換器による声質変換を実現する。
【００４８】
以下、学習対象言語と合成対象言語の類似した発音情報（音素）の対応関係のことを発音ベクトル作成規則という。その一例を図１０に示す。図１０の表の各行は類似する学習対象言語の音素と合成対象言語の音素を組にしてインデックスを付したもの、行数は学習対象言語の音素の数Lとなっている。この例では、学習対象言語は日本語、合成対象言語は英語であり、例えば、３行目（インデックスが３である行）をみると、日本語の音素”s”と英語の音素”s”,”th”が類似関係にあり、対応することがわかる。
【００４９】
なお、発音ベクトル作成規則の表現は、図１０のような、学習対象言語の音素の数Lを行数とする、学習対象言語の各音素に類似する合成対象言語の音素を示した表に限られるものではないが、以下の説明では発音ベクトル作成規則が図１０のような行数Lの表で表現されているものとする。
【００５０】
以下、図１１〜図１５を参照してクロスリンガル音声合成用モデル学習装置３００について説明する。なお、合成音声の生成にはクロスリンガル音声合成装置２００を用いることができる。
【００５１】
［クロスリンガル音声合成用モデル学習装置３００］
図１１に示すようにクロスリンガル音声合成用モデル学習装置３００は、不特定話者声質変換器学習装置３１０、音声合成用モデル学習装置３２０、記録部１９０を含む。記録部１９０には、事前に発音ベクトル作成規則が記録されているものとする。クロスリンガル音声合成用モデル学習装置３００は、目標話者音声データ、学習対象言語音声データn(1≦n≦N)、学習対象言語音声データnに含まれる発話の発話情報の集合（以下、学習対象言語発話情報集合n(1≦n≦N)という）、合成対象言語音声データ、合成対象言語発話情報集合を入力として、クロスリンガル音声合成モデルを学習し、出力する。
【００５２】
以下、不特定話者声質変換器学習装置３１０、音声合成用モデル学習装置３２０の構成、動作について詳細に説明していく。
【００５３】
まず、図１２〜図１３を参照して不特定話者声質変換器学習装置３１０について説明する。図１２に示すように不特定話者声質変換器学習装置３１０は、時間情報調整部１０１、第１発音ベクトル生成部３０２、声質変換器学習部３０３を含む。図１３に従い不特定話者声質変換器学習装置３１０の動作について説明する。
【００５４】
時間情報調整部１０１は、目標話者音声データ、学習対象言語音声データn(1≦n≦N)を入力として、目標話者音声データと学習対象言語音声データnに含まれる各文章の音声（発話）の時間情報をそろえた音声データである時間情報調整後目標話者音声データn、時間情報調整後学習対象言語音声データnを生成し、出力する（Ｓ１０１）。
【００５５】
第１発音ベクトル生成部３０２は、学習対象言語発話情報集合nを入力として、記録部１９０から読み込んだ発音ベクトル作成規則を用いて、学習対象言語発音ベクトル集合nを生成し、出力する（Ｓ３０２）。ここで、発音ベクトルとは、音声データ中の発話の各フレームに対して算出されるベクトルであり、そのフレームがどのような発音情報（音素）であるかを示すベクトルである。発音ベクトル作成規則が図１０のような行数Lの表で表現されている場合、発音ベクトルの次元はLとなる。学習対象言語発話情報集合nの発話情報から発音ベクトル（以下、学習対象言語発音ベクトルという）を算出していき、その集合を学習対象言語発音ベクトル集合nとして生成する。
【００５６】
以下、具体的に、ある発話情報に含まれる発音情報（音素）から発音ベクトルを算出する方法について説明していく。まず、発音情報（音素）に対して、発音ベクトル作成規則を用いて対応するインデックスidxを求める（ただし、1≦idx≦L）。図１０の例でいえば、真ん中の列の中から学習対象言語音素（ここでは日本語の音素）がある行を見出し、インデックスidxを得る。次に、得られたインデックスidxを数値ベクトル化し、発音ベクトルを算出する。数値ベクトル化の方法として、例えば、以下のような意図情報の1-of-K表現を使用し、インデックスidxから発音ベクトルV=(v1, v2, …, vL)（Lは学習対象言語の音素数）を算出する。
【００５７】
【数３】
2018084604.tif 000005
【００５８】
ただし、j=1,…,Lである。
【００５９】
発音ベクトルに1-of-K表現を使用するのは、一般に、L個の値を取る情報（ここでは、インデックスidx）をニューラルネットの入力とする場合、1次元の数値として取り扱うよりも1-of-K表現として取り扱う方がより高性能の学習結果（つまり、不特定話者声質変換器）が得られるからである。
【００６０】
声質変換器学習部３０３は、時間情報調整後目標話者音声データnと時間情報調整後学習対象言語音声データnと学習対象言語発音ベクトル集合nの組(1≦n≦N)を入力として、不特定話者声質変換器を学習し、出力する（Ｓ３０３）。例えば、時間情報調整後目標話者音声データn、時間情報調整後学習対象言語音声データnがスペクトルパラメータとして表現される場合、次のようにして不特定話者声質変換器を学習する。
【００６１】
時間情報調整後目標話者音声データnのスペクトルパラメータをCn,target(t)、時間情報調整後学習対象言語音声データnのスペクトルパラメータをCn,train(t)、学習対象言語発音ベクトル集合nの要素である学習対象言語発音ベクトルをVn,train(t)とする（tはフレーム番号を表す）。時間情報調整後学習対象言語音声データnのスペクトルパラメータCn,train(t)と対応する学習対象言語発音ベクトルVn,train(t)の組(Cn,train(t), Vn,train(t))と時間情報調整後目標話者音声データnのスペクトルパラメータCn,target(t)の組を学習データとして、拡張入力話者スペクトルパラメータ(ctrain(t), vtrain(t))から目標話者の声質に対応する目標話者スペクトルパラメータc^target(t)へ変換する不特定話者声質変換器ftrain→targetを学習する。
【００６２】
【数４】
2018084604.tif 000006
【００６３】
ここで、不特定話者声質変換器ftrain→targetは、あるフレームtの任意の拡張入力話者スペクトルパラメータから目標話者スペクトルパラメータへ変換する声質変換器となる。
【００６４】
不特定話者声質変換器ftrain→targetの学習アルゴリズムは、第一実施形態と同じ（参考非特許文献１）記載の方法を用いればよい。ただし、学習データとして、時間情報調整後学習対象言語音声データnのスペクトルパラメータと対応する学習対象言語発音ベクトルの組と時間情報調整後目標話者音声データnのスペクトルパラメータの組を用いる点が異なる。
【００６５】
次に、図１４〜図１５を参照して音声合成用モデル学習装置３２０について説明する。図１４に示すように音声合成用モデル学習装置３２０は、声質変換部３１１、第２発音ベクトル生成部３１２、合成用モデル学習部３１３を含む。図１５に従い音声合成用モデル学習装置３２０の動作について説明する。
【００６６】
第２発音ベクトル生成部３１２は、合成対象言語発話情報集合を入力として、記録部１９０から読み込んだ発音ベクトル作成規則を用いて、合成対象言語発音ベクトル集合を生成し、出力する（Ｓ３１２）。合成対象言語発音ベクトル集合の生成方法は、第１発音ベクトル生成部３０２における学習対象言語発音ベクトル集合nの生成方法と同様であり、合成対象言語発話情報集合の発話情報から算出される発音ベクトル（以下、合成対象言語発音ベクトルという）の集合が合成対象言語発音ベクトル集合である。
【００６７】
声質変換部３１１は、合成対象言語音声データと、Ｓ３１２で生成した合成対象言語発音ベクトル集合を入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データを生成し、出力する（Ｓ３１１）。例えば、不特定話者声質変換器が式(2)で表される場合、合成対象言語音声データのスペクトルパラメータCsynth,org(t)と対応する合成対象言語発音ベクトルVsynth,org(t)の組(Csynth,org(t), Vsynth,org(t))から目標話者の声質を有する合成対象言語の目標話者スペクトルパラメータC^synth,target(t)へ変換する。
【００６８】
【数５】
2018084604.tif 000007
【００６９】
声質変換器の学習に（参考非特許文献１）を用いた場合は、（参考非特許文献１）に従い声質変換を行えばよい。式(2)に従い計算された目標話者スペクトルパラメータC^synth,target(t)が声質変換後合成対象言語音声データである。
【００７０】
合成用モデル学習部３１３は、Ｓ３１１で生成した声質変換後合成対象言語音声データと、合成対象言語発話情報集合を入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ３１３）。
【００７１】
以下、図１６〜図１７を参照して発音ベクトル作成規則生成装置４００について説明する。ここで、発音ベクトル作成規則が学習対象言語の音声データと合成対象言語の音声データから生成できるためには、各音声データの発話情報に音素セグメンテーション情報が含まれている必要がある。
【００７２】
なお、国際音声記号（IPA；International Phonetic Alphabet）を用いることができる場合、発音ベクトル作成規則を簡易に生成することができる。ここで、国際音声記号とは、国際音声学会が定めた音声記号であり、あらゆる言語の発音情報（音素）を表記可能な記号である（参考ＵＲＬ）。
（参考ＵＲＬ：https://www.internationalphoneticassociation.org/content/full-ipa-chart）
【００７３】
学習対象言語の発話情報からIPAへ変換するための規則、合成対象言語の発話情報からIPAへ変換するための規則がそれぞれ用意されている場合、各言語からIPAへの変換規則を介して対応関係、つまり発音ベクトル作成規則を作成することができる。
【００７４】
［発音ベクトル作成規則生成装置４００］
図１６に示すように発音ベクトル作成規則生成装置４００は、第１発音統計情報生成部４１０、第２発音統計情報生成部４１５、発音類似性判定部４２０、記録部４９０を含む。記録部４９０は、発音ベクトル作成規則生成装置４００の処理に必要な情報を適宜記録する構成部である。発音ベクトル作成規則生成装置４００は、目標話者音声データと目標話者音声データに含まれる発話の発話情報の集合（以下、目標話者発話情報集合という）、合成対象言語音声データと合成対象言語発話情報集合を入力として、発音ベクトル作成規則を生成し、出力する。
【００７５】
以下、図１７に従い発音ベクトル作成規則生成装置４００の動作について説明する。
【００７６】
第１発音統計情報生成部４１０は、目標話者音声データと目標話者発話情報集合を入力として、学習対象言語発音統計情報を生成し、出力する（Ｓ４１０）。第１発音統計情報生成部４１０の動作は、具体的には、以下のようになる（図１８参照）。目標話者音声データから学習対象言語音素j（j=1,…,L、ただし、Lは学習対象言語の音素数）の音声区間を特定し、学習対象言語音素jの音声データ（例えば、スペクトルパラメータ）を抽出する（Ｓ４１０−１）。抽出された学習対象言語音素jの音声データを用いて、学習対象言語音素jの発音統計情報を算出する（Ｓ４１０−２）。学習対象言語音素1の発音統計情報、…、学習対象言語音素Lの発音統計情報の集合として学習対象言語発音統計情報を生成する（Ｓ４１０−３）。ここで、統計情報として、学習対象言語音素jの音声データ全体の平均値、分散、四分位数や、例えば、正規混合分布（Gaussian Mixture Model, GMM）のような統計モデルを使用することができる。なお、目標話者音声データと目標話者発話情報集合の代わりに、学習対象言語音声データnと学習対象言語発話情報集合nを用いてもよい（ただし、nは1以上N以下の整数）。
【００７７】
第２発音統計情報生成部４１５は、合成対象言語音声データと合成対象言語発話情報集合を入力として、合成対象言語発音統計情報を生成し、出力する（Ｓ４１５）。第２発音情報統計取得部４１５の動作は、第１発音統計情報生成部４１０の動作と同様であり、合成対象言語音素1の発音統計情報、…、合成対象言語音素Kの発音統計情報の集合として合成対象言語発音統計情報を生成する（ただし、Kは合成対象言語の音素数）。
【００７８】
発音類似性判定部４２０は、Ｓ４１０で生成した学習対象言語発音統計情報と、Ｓ４１５で生成した合成対象言語発音統計情報を入力として、発音ベクトル作成規則を生成し、出力する（Ｓ４２０）。発音類似性判定部４２０の動作は、具体的には、以下のようになる（図１９参照）。まず、合成対象言語音素iの発音統計情報（i=1,…,K）と学習対象言語音素jの発音統計情報（j=1,…,L）の距離dijを算出する（Ｓ４２０−１）。発音統計情報間の距離の算出方法は、用いる発音統計情報によって異なる。例えば、発音統計情報としてGMMを用いた場合、確率分布間の差異を測る尺度であるKLダイバージェンスを用いることができる。また、平均値、分散を用いた場合は、マハラノビス距離、四分位数を用いた場合は、四分位数のユークリッド距離を用いて距離dijを算出すればよい。次に、合成対象言語音素iについて、学習対象言語音素1との距離di1、…、学習対象言語音素Lとの距離diLの中から最小となる学習対象言語音素j_min（1≦jmin≦L）を特定する（Ｓ４２０−２）。合成対象言語音素iと学習対象言語音素j_minを対応するものとして、インデックス、学習対象言語音素j_min、合成対象言語音素iの組を表に追加していき、最終的に発音ベクトル作成規則を生成する（Ｓ４２０−３）。
【００７９】
本実施形態の発明によれば、学習対象言語の発話情報も用いて不特定話者声質変換器を生成することにより、合成音声の品質を向上させるクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより合成音声の品質を向上させることができる。
【００８０】
＜第三実施形態＞
第一実施形態では、合成対象言語音声データとして1名の話者の音声データを使用している。
【００８１】
本実施形態では、合成対象言語音声データとして複数の話者の音声データを使用する。これにより、合成音声の品質を向上させることができる。
【００８２】
以下、図２０〜図２１を参照して音声合成用モデル学習装置５２０について説明する。なお、不特定話者声質変換器の生成には不特定話者声質変換器学習装置１１０を用いることができる。つまり、不特定話者声質変換器学習装置１１０と、音声合成用モデル学習装置５２０と、記録部１９０を含むクロスリンガル音声合成用モデル学習装置を構成することができる。また、合成音声の生成にはクロスリンガル音声合成装置２００を用いることができる。
【００８３】
［音声合成用モデル学習装置５２０］
図２０に示すように音声合成用モデル学習装置５２０は、声質変換部５１１、合成用モデル学習部５１３を含む。図２１に従い音声合成用モデル学習装置５２０の動作について説明する。ここでは、合成対象言語音声データm(1≦m≦M)が必要である。
【００８４】
声質変換部５１１は、合成対象言語音声データmを入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データmを生成し、出力する（Ｓ５１１）。例えば、不特定話者声質変換器が式(1)で表される場合、合成対象言語音声データmのスペクトルパラメータCsynth,org,m(t)から目標話者の声質を有する合成対象言語の目標話者スペクトルパラメータm C^synth,target,m(t)へ変換する。
【００８５】
【数６】
2018084604.tif 000008
【００８６】
声質変換器の学習に（参考非特許文献１）を用いた場合は、（参考非特許文献１）に従い声質変換を行えばよい。式(1)に従い計算された目標話者スペクトルパラメータm C^synth,target,m(t)が声質変換後合成対象言語音声データmである。
【００８７】
合成用モデル学習部５１３は、Ｓ５１１で生成した声質変換後合成対象言語音声データmと、合成対象言語発話情報集合mを入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ５１３）。クロスリンガル音声合成用モデルの学習には、（非特許文献１）、（非特許文献２）を用いることができる。また、（参考非特許文献３）のように複数の話者の音声データを用いて学習する平均声モデルを音声合成用モデルとして用いることもできる。
（参考非特許文献３）田村正統，益子貴史，徳田恵一，小林隆夫，“HMMに基づく音声合成におけるピッチ・スペクトルの話者適応”，電子情報通信学会論文誌 D, Vol.J85-D2, No.4,  pp.545-553, 2002.
【００８８】
一般に、音声合成用モデルを学習する際、学習に使用できる音声データ、発話情報の量が多いほど高品質な合成音声を生成することが可能である。本実施形態では、M名の合成対象言語音声データを用いている。M名の合成対象言語音声データを用いた場合、目標話者の声質を有する、M名の声質変換後合成対象言語音声データを音声合成用モデルの学習データとして使用することができる。これにより、1名分の合成対象言語音声データを使用する場合に比して、音声合成用モデル学習に使用可能な音声データの量が増加するため、合成音声の品質を向上させるクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより合成音声の品質を向上させることができる。
【００８９】
＜第四実施形態＞
第三実施形態では、M名の話者による合成対象言語音声データから生成した声質変換後合成対象言語音声データをすべて音声合成用モデル学習に使用している。
【００９０】
しかし、合成対象言語入力話者mと目標話者の話者性が大きく異なる場合、声質変換部５１１が生成する声質変換後合成対象言語音声データmの変換精度が劣化する場合がある。したがって、必ずしもM名すべての声質変換後合成用対象言語音声データを音声合成用モデル学習に使用することが適切であるとは限らない。
【００９１】
そこで、本実施形態では、この問題を回避するために、M名の声質変換後合成用対象言語音声データのうち、変換精度が高いもののみを音声合成用モデルの学習に使用する。
これにより、合成音声の品質を向上させることができる。
【００９２】
以下、図２２〜図２３を参照して音声合成用モデル学習装置６２０について説明する。なお、不特定話者声質変換器の生成には不特定話者声質変換器学習装置１１０を用いることができる。つまり、不特定話者声質変換器学習装置１１０と、音声合成用モデル学習装置６２０と、記録部１９０を含むクロスリンガル音声合成用モデル学習装置を構成することができる。また、合成音声の生成にはクロスリンガル音声合成装置２００を用いることができる。
【００９３】
［音声合成用モデル学習装置６２０］
図２２に示すように音声合成用モデル学習装置６２０は、声質変換部５１１、話者類似性判定部６１２、合成用モデル学習部５１３を含む。図２３に従い音声合成用モデル学習装置６２０の動作について説明する。
【００９４】
声質変換部５１１は、合成対象言語音声データmを入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データmを生成し、出力する（Ｓ５１１）。
【００９５】
話者類似性判定部６１２は、Ｓ５１１で生成した声質変換後合成対象言語音声データm (1≦m≦M)と目標話者音声データを入力として、声質変換後合成対象言語音声データmと目標話者音声データの類似の程度を示す類似度mを算出し、類似度mに基づいて声質変換後合成対象言語音声データmが目標話者音声データに類似していると判定される場合、声質変換後合成対象言語音声データmを目標話者音声データに類似している声質変換後合成対象言語音声データの集合である目標話者類似合成対象言語音声データ集合に追加していくことにより、目標話者類似合成対象言語音声データ集合を生成する（Ｓ６１２）。類似度の算出には、声質変換後合成対象言語音声データmと目標話者音声データとの差、例えばスペクトルパラメータの差を利用する。そのような方法として、正規混合分布（GMM）を使用する（参考非特許文献４）の方法がある。
（参考非特許文献４）D. A. Reynolds, “Speaker identification and verification using Gaussian mixture speaker models”, Speech Communication, vol.17, Issues 1-2, pp.91-108, 1995.
【００９６】
話者類似性判定部６１２の動作は、具体的には、以下のようになる（図２４参照）。まず、目標話者音声データを使用して、目標話者のGMMを学習する（Ｓ６１２−１）。次に、学習した目標話者のGMMに対して、声質変換後合成対象言語音声データmを入力し、合成対象言語入力話者mの尤度を類似度mとして算出する（Ｓ６１２−２）。最後に、類似度mが所定の閾値以上である（または、所定の閾値より大きい）場合、声質変換後合成対象言語音声データmと目標話者音声データは類似していると判定（つまり、合成対象言語入力話者mを目標話者と類似性が高い話者と判定）し、声質変換後合成対象言語音声データmを目標話者類似合成対象言語音声データ集合の要素として決定する（Ｓ６１２−３）。
【００９７】
合成用モデル学習部５１３は、Ｓ６１２で生成した目標話者類似合成対象言語音声データ集合と、合成対象言語発話情報集合m(1≦m≦M)を入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ５１３）。ここでは、目標話者類似合成対象言語音声データ集合の要素である声質変換後合成対象言語音声データmに対応する合成対象言語発話情報集合mのみが使用されることになる。
【００９８】
なお、Ｓ６１２で目標話者類似合成対象言語音声データ集合を生成する代わりに、最も類似度が大きい声質変換後合成対象言語音声データを目標話者類似合成対象言語音声データとして生成するのでもよい。この場合、合成用モデル学習部５１３は、Ｓ６１２で生成した目標話者類似合成対象言語音声データと、合成対象言語発話情報集合m(1≦m≦M)を入力として、クロスリンガル音声合成モデルを学習し、出力する。
【００９９】
本実施形態では、類似度が大きい声質変換後合成対象言語音声データのみを音声合成用モデルの学習データとして用いている。これにより、合成音声の品質を向上させるクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより合成音声の品質を向上させることができる。
【０１００】
特に、最も類似度が大きい声質変換後合成対象言語音声データのみを学習データとして用いる場合は、目標話者による合成対象言語での音声データが利用できる場合に生成されるような音声合成用モデルによる合成音声の品質に近いクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより目標話者による合成対象言語での音声データが利用できる場合に生成されるような音声合成用モデルによる合成音声の品質に近い合成音声を生成することができる。
【０１０１】
＜第五実施形態＞
第二実施形態では、合成対象言語音声データとして1名の話者の音声データを使用している。
【０１０２】
本実施形態では、合成対象言語音声データとして複数の話者の音声データを使用する。これにより、合成音声の品質を向上させることができる。
【０１０３】
以下、図２５〜図２６を参照して音声合成用モデル学習装置７２０について説明する。なお、不特定話者声質変換器の生成には不特定話者声質変換器学習装置３１０を用いることができる。つまり、不特定話者声質変換器学習装置３１０と、音声合成用モデル学習装置７２０と、記録部１９０を含むクロスリンガル音声合成用モデル学習装置を構成することができる。ここで、記録部１９０には、事前に発音ベクトル作成規則が記録されているものとする。また、合成音声の生成にはクロスリンガル音声合成装置２００を用いることができる。
【０１０４】
［音声合成用モデル学習装置７２０］
図２５に示すように音声合成用モデル学習装置７２０は、声質変換部７１１、第２発音ベクトル生成部７１２、合成用モデル学習部７１３を含む。図２６に従い音声合成用モデル学習装置７２０の動作について説明する。ここでは、合成対象言語音声データm(1≦m≦M)が必要である。
【０１０５】
第２発音ベクトル生成部７１２は、合成対象言語発話情報集合mを入力として、記録部１９０から読み込んだ発音ベクトル作成規則を用いて、合成対象言語発音ベクトル集合mを生成し、出力する（Ｓ７１２）。合成対象言語発音ベクトル集合mの生成方法は、第２発音ベクトル生成部３１２における合成対象言語発音ベクトル集合の生成方法と同様であり、合成対象言語発話情報集合mの発話情報から算出される発音ベクトル（以下、合成対象言語発音ベクトルという）の集合が合成対象言語発音ベクトル集合mである。
【０１０６】
声質変換部７１１は、合成対象言語音声データmと、Ｓ７１２で生成した合成対象言語発音ベクトル集合mを入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データmを生成し、出力する（Ｓ７１１）。例えば、不特定話者声質変換器が式(2)で表される場合、合成対象言語音声データmのスペクトルパラメータCsynth,org,m(t)と対応する合成対象言語発音ベクトルVsynth,org,m(t)の組(Csynth,org,m(t), Vsynth,org,m(t))から目標話者の声質を有する合成対象言語の目標話者スペクトルパラメータm C^synth,target,m(t)へ変換する。
【０１０７】
【数７】
2018084604.tif 000009
【０１０８】
声質変換器の学習に（参考非特許文献１）を用いた場合は、（参考非特許文献１）に従い声質変換を行えばよい。式(2)に従い計算された目標話者スペクトルパラメータm C^synth,target,m(t)が声質変換後合成対象言語音声データmである。
【０１０９】
合成用モデル学習部７１３は、Ｓ７１１で生成した声質変換後合成対象言語音声データmと、合成対象言語発話情報集合mを入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ７１３）。クロスリンガル音声合成用モデルの学習には、（非特許文献１）、（非特許文献２）、（参考非特許文献３）を用いることができる。
【０１１０】
本実施形態では、M名の合成対象言語音声データを用いている。M名の合成対象言語音声データを用いた場合、目標話者の声質を有する、M名の声質変換後合成対象言語音声データを音声合成用モデルの学習データとして使用することができる。これにより、1名分の合成対象言語音声データを使用する場合に比して、音声合成用モデル学習に使用可能な音声データの量が増加するため、合成音声の品質を向上させるクロスリンガル音声合成用モデルを生成することができる。その上、第二実施形態同様、学習対象言語の発話情報も用いて学習した不特定話者声質変換器を用いているため、合成音声の品質をより向上させるクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより合成音声の品質を向上させることができる。
【０１１１】
＜第六実施形態＞
第五実施形態では、M名の話者による合成対象言語音声データから生成した声質変換後合成対象言語音声データをすべて音声合成用モデル学習に使用している。
【０１１２】
しかし、合成対象言語入力話者mと目標話者の話者性が大きく異なる場合、声質変換部７１１が生成する声質変換後合成対象言語音声データmの変換精度が劣化する場合がある。したがって、必ずしもM名すべての声質変換後合成用対象言語音声データを音声合成用モデル学習に使用することが適切であるとは限らない。
【０１１３】
そこで、本実施形態では、この問題を回避するために、M名の声質変換後合成用対象言語音声データのうち、変換精度が高いもののみを音声合成用モデルの学習に使用する。
これにより、合成音声の品質を向上させることができる。
【０１１４】
以下、図２７〜図２８を参照して音声合成用モデル学習装置８２０について説明する。なお、不特定話者声質変換器の生成には不特定話者声質変換器学習装置３１０を用いることができる。つまり、不特定話者声質変換器学習装置３１０と、音声合成用モデル学習装置８２０と、記録部１９０を含むクロスリンガル音声合成用モデル学習装置を構成することができる。ここで、記録部１９０には、事前に発音ベクトル作成規則が記録されているものとする。また、合成音声の生成にはクロスリンガル音声合成装置２００を用いることができる。
【０１１５】
［音声合成用モデル学習装置８２０］
図２７に示すように音声合成用モデル学習装置８２０は、声質変換部７１１、第２発音ベクトル生成部７１２、話者類似性判定部８１２、合成用モデル学習部７１３を含む。図２８に従い音声合成用モデル学習装置８２０の動作について説明する。
【０１１６】
第２発音ベクトル生成部７１２は、合成対象言語発話情報集合mを入力として、記録部１９０から読み込んだ発音ベクトル作成規則を用いて、合成対象言語発音ベクトル集合mを生成し、出力する（Ｓ７１２）。
【０１１７】
声質変換部７１１は、合成対象言語音声データmと、Ｓ７１２で生成した合成対象言語発音ベクトル集合mを入力として、不特定話者声質変換器を用いて声質変換後合成対象言語音声データmを生成し、出力する（Ｓ７１１）。
【０１１８】
話者類似性判定部８１２は、Ｓ７１１で生成した声質変換後合成対象言語音声データm (1≦m≦M)と目標話者音声データを入力として、声質変換後合成対象言語音声データmと目標話者音声データの類似の程度を示す類似度mを算出し、類似度mに基づいて声質変換後合成対象言語音声データmが目標話者音声データに類似していると判定される場合、声質変換後合成対象言語音声データmを目標話者音声データに類似している声質変換後合成対象言語音声データの集合である目標話者類似合成対象言語音声データ集合に追加していくことにより、目標話者類似合成対象言語音声データ集合を生成する（Ｓ８１２）。話者類似性判定部８１２の動作は、話者類似性判定部６１２の動作と同様でよい。
【０１１９】
合成用モデル学習部７１３は、Ｓ８１２で生成した目標話者類似合成対象言語音声データ集合と、合成対象言語発話情報集合m(1≦m≦M)を入力として、クロスリンガル音声合成モデルを学習し、出力する（Ｓ７１３）。ここでは、目標話者類似合成対象言語音声データ集合の要素である声質変換後合成対象言語音声データmに対応する合成対象言語発話情報集合mのみが使用されることになる。
【０１２０】
なお、Ｓ８１２で目標話者類似合成対象言語音声データ集合を生成する代わりに、最も類似度が大きい声質変換後合成対象言語音声データを目標話者類似合成対象言語音声データとして生成するのでもよい。この場合、合成用モデル学習部７１３は、Ｓ８１２で生成した目標話者類似合成対象言語音声データと、合成対象言語発話情報集合m(1≦m≦M)を入力として、クロスリンガル音声合成モデルを学習し、出力する。
【０１２１】
本実施形態では、類似度が大きい声質変換後合成対象言語音声データのみを音声合成用モデルの学習データとして用いている。これにより、合成音声の品質を向上させるクロスリンガル音声合成用モデルを生成することができる。その上、第二実施形態同様、学習対象言語の発話情報も用いて学習した不特定話者声質変換器を用いているため、合成音声の品質をより向上させるクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより合成音声の品質を向上させることができる。
【０１２２】
特に、最も類似度が大きい声質変換後合成対象言語音声データのみを学習データとして用いる場合は、目標話者による合成対象言語での音声データが利用できる場合に生成されるような音声合成用モデルによる合成音声の品質に近いクロスリンガル音声合成用モデルを生成することができる。また、当該クロスリンガル音声合成用モデルを用いることにより目標話者による合成対象言語での音声データが利用できる場合に生成されるような音声合成用モデルによる合成音声の品質に近い合成音声を生成することができる。
【０１２３】
＜変形例＞
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【０１２４】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【０１２５】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【０１２６】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【０１２７】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１２８】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【０１２９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１３０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１３１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１３２】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2018084604.tif 000010
【図２】
2018084604.tif 000011
【図３】
2018084604.tif 000012
【図４】
2018084604.tif 000013
【図５】
2018084604.tif 000014
【図６】
2018084604.tif 000015
【図７】
2018084604.tif 000016
【図８】
2018084604.tif 000017
【図９】
2018084604.tif 000018
【図１０】
2018084604.tif 000019
【図１１】
2018084604.tif 000020
【図１２】
2018084604.tif 000021
【図１３】
2018084604.tif 000022
【図１４】
2018084604.tif 000023
【図１５】
2018084604.tif 000024
【図１６】
2018084604.tif 000025
【図１７】
2018084604.tif 000026
【図１８】
2018084604.tif 000027
【図１９】
2018084604.tif 000028
【図２０】
2018084604.tif 000029
【図２１】
2018084604.tif 000030
【図２２】
2018084604.tif 000031
【図２３】
2018084604.tif 000032
【図２４】
2018084604.tif 000033
【図２５】
2018084604.tif 000034
【図２６】
2018084604.tif 000035
【図２７】
2018084604.tif 000036
【図２８】
2018084604.tif 000037