(57)【要約】【課題】様々な性質の音声に適応させることができる声質変換モデルを生成するのに好適な声質変換モデル生成装置、及び前記生成した声質変換モデルと所定の適応手法とを用いて、任意の元話者の声質の音声を任意の目標話者の声質の音声に変換するのに好適な声質変換システムを提供する。【解決手段】声質変換モデル生成装置１において、Ｎ人の元話者及びＭ人の目標話者の少なくとも一方の音声データを学習データとして学習（通常学習又は適応学習）を行い、Ｎ人の元話者及びＭ人の目標話者の少なくとも一方に共通な１つ又は２つのモデルから構成される声質変換モデルを生成する。そして、声質変換システムにおいては、所定の適応手法を用いて、前記生成した声質変換モデルを任意の元話者及び任意の目標話者の少なくとも一方の音声に適応させて、任意又は特定の元話者の音声を特定又は任意の目標話者の声質の音声に変換する。【選択図】  図１
2008058696.tif 000002
【特許請求の範囲】
【請求項１】
声質変換用の統計モデルを生成する声質変換モデル生成装置であって、
所定のＮ（Ｎは１以上の整数）人の元話者の音声データである第１音声データと、当該第１音声データと同じ発声内容の所定のＭ（Ｍは１以上の整数）人の目標話者の音声データである第２音声データとを学習データとして学習を行い、前記Ｎ人の元話者の声質の音声を前記Ｍ人の目標話者の声質の音声に変換するための、前記Ｎ人の元話者及び前記Ｍ人の目標話者に共通の統計モデルである声質変換モデルを生成する声質変換モデル生成手段を備え、
前記Ｎ及び前記Ｍのうち、少なくとも一方が２以上の整数であることを特徴とする声質変換モデル生成装置。
【請求項２】
前記Ｍは２以上の整数であり、
前記Ｎ人の元話者の前記第１音声データと、前記Ｍ人の目標話者の前記第２音声データとを用いて適応学習を行う適応学習手段をさらに備え、
前記適応学習手段は、所定の元話者の声質の音声を所定の目標話者の声質の音声に変換する初期声質変換モデルを、前記Ｎ人の元話者の声質の音声、及び前記Ｍ人の目標話者の声質の音声のうち、少なくとも前記Ｍ人の目標話者の声質の音声に適応させる適応学習を固有声技術に基づいて行い、声質を制御できる話者性制御パラメータを有する声質変換モデルを生成することを特徴とする請求項１記載の声質変換モデル生成装置。
【請求項３】
声質変換用の統計モデルを生成する声質変換モデル生成装置であって、
所定のＮ（Ｎは２以上の整数）人の元話者の音声データである第１音声データと、当該第１音声データと同じ発声内容の所定の１人の中間話者の音声データである第３音声データとを学習データとして学習を行い、前記Ｎ人の元話者の声質の音声を前記１人の中間話者の音声に変換するための、前記Ｎ人の元話者及び前記１人の中間話者に共通の１つの統計モデルである第１声質変換モデルを生成すると共に、前記１人の中間話者の第３音声データと、当該第３音声データと同じ発声内容の所定のＭ（Ｍは２以上の整数）人の目標話者の音声データである第２音声データとを学習データとして学習を行い、前記１人の中間話者の音声を前記Ｍ人の目標話者の声質の音声に変換するための前記１人の中間話者と前記目標話者の各々とに１対１に対応した統計モデルである、Ｍ個の第２声質変換モデルを生成する声質変換モデル生成手段を備えることを特徴とする声質変換モデル生成装置。
【請求項４】
任意の元話者の任意の発声内容の音声を１人の目標話者の声質の音声に変換する声質変換システムであって、
請求項１に記載の声質変換モデル生成装置によって生成された、所定のＮ（Ｎは２以上の整数）人の元話者の声質の音声を前記１人の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
前記任意の元話者の音声データを取得する元話者音声データ取得手段と、
前記元話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声に適応させる適応手段と、
前記適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記任意の元話者の任意の発声内容の音声データを前記１人の目標話者の声質の音声データに変換する声質変換手段と、を備えることを特徴とする声質変換システム。
【請求項５】
１人の元話者の任意の発声内容の音声を任意の目標話者の声質の音声に変換する声質変換システムであって、
請求項１に記載の声質変換モデル生成装置によって生成された、前記１人の元話者の声質の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
前記任意の目標話者の音声データを取得する目標話者音声データ取得手段と、
前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の目標話者の声質の音声に適応させる適応手段と、
前記１人の元話者の音声データを取得する元話者音声データ取得手段と、
前記適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記１人の元話者の任意の発声内容の音声データを前記任意の目標話者の声質の音声データに変換する声質変換手段と、を備えることを特徴とする声質変換システム。
【請求項６】
１人の元話者の任意の発声内容の音声を任意の目標話者の声質の音声に変換する声質変換システムであって、
請求項２に記載の声質変換モデル生成装置によって生成された、前記１人の元話者の声質の音声を所定のＭ人（Ｍは２以上の整数）の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
前記任意の目標話者の音声データを取得する目標話者音声データ取得手段と、
前記声質変換モデルにおける前記Ｍ人の目標話者の声質の音声に係る話者性制御パラメータ値を指定する話者性制御パラメータ値指定手段と、
前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の目標話者の声質の音声に適応させる第１適応手段と、
前記話者性制御パラメータ値指定手段で指定されたパラメータ値と、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、前記声質変換モデルを前記指定されたパラメータ値に適応させる第２適応手段と、
前記１人の元話者の音声データを取得する元話者音声データ取得手段と、
前記第１適応手段及び前記第２適応手段の少なくとも一方で適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記１人の元話者の任意の発声内容の音声データを前記任意の目標話者の声質の音声データに変換する声質変換手段と、を備えることを特徴とする声質変換システム。
【請求項７】
前記第１適応手段は、前記声質変換モデルを構成する前記Ｍ人の目標話者の声質の音声に係るパラメータに対して、前記声質変換モデルを前記任意の目標話者の声質の音声に適応させる適応パラメータ値を前記所定の適応手法を用いて推定し、前記声質変換モデルの前記パラメータ値を前記推定した適応パラメータ値に変換するようになっており、
前記第２適応手段は、前記声質変換モデルを構成する前記Ｍ人の目標話者の声質の音声に係るパラメータに対して、当該パラメータ値を、前記話者性制御パラメータ値指定手段で指定されたパラメータ値に変換するようになっていることを特徴とする請求項６に記載の声質変換システム。
【請求項８】
任意の元話者の任意の発声内容の音声を任意の目標話者の声質の音声に変換する声質変換システムであって、
請求項１に記載の声質変換モデル生成装置によって生成された、所定のＮ（Ｎは２以上の整数）人の元話者の声質の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
前記任意の元話者の音声データを取得する元話者音声データ取得手段と、
前記任意の目標話者の音声データを取得する目標話者音声データ取得手段と、
前記元話者音声データ取得手段で取得した音声データと、前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声及び前記任意の目標話者の声質の音声に適応させる適応手段と、
前記適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記任意の元話者の任意の発声内容の音声データを前記任意の目標話者の声質の音声データに変換する声質変換手段と、を備えることを特徴とする声質変換システム。
【請求項９】
任意の元話者の任意の発声内容の音声を任意の目標話者の声質の音声に変換する声質変換システムであって、
請求項２に記載の声質変換モデル生成装置によって生成された、所定のＮ（Ｎは２以上の整数）人の元話者の声質の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
任意の元話者の音声データを取得する元話者音声データ取得手段と、
任意の目標話者の音声データを取得する目標話者音声データ取得手段と、
前記声質変換モデルにおける前記Ｍ人の目標話者の声質の音声に係る話者性制御パラメータ値を指定する話者性制御パラメータ値指定手段と、
前記元話者音声データ取得手段で取得した音声データと、前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声及び前記任意の目標話者の声質の音声に適応させる第１適応手段と、
前記元話者音声データ取得手段で取得した音声データと、前記話者性制御パラメータ値指定手段で指定されたパラメータ値と、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、前記声質変換モデルを所定の適応手法を用いて前記任意の元話者の声質の音声及び前記指定されたパラメータ値に適応させる第２適応手段と、
前記第１適応手段及び前記第２適応手段の少なくとも一方で適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記任意の元話者の任意の発声内容の音声データを前記任意の目標話者の声質の音声データに変換する声質変換手段と、を備えることを特徴とする声質変換システム。
【請求項１０】
前記第１適応手段は、前記声質変換モデルを構成する前記Ｎ人の元話者に係る第１パラメータ及び前記Ｍ人の目標話者に係る第２パラメータに対して、前記声質変換モデルを前記任意の元話者の声質の音声に適応させる第１適応パラメータ値、及び前記声質変換モデルを前記任意の目標話者の声質の音声に適応させる第２適応パラメータ値を前記所定の適応手法を用いて推定し、前記第１パラメータの値を前記推定した第１適応パラメータ値に変換すると共に、前記第２パラメータの値を前記推定した第２パラメータ値に変換するようになっており、
前記第２適応手段は、前記声質変換モデルを構成する前記第１パラメータ及び前記第２パラメータに対して、前記第１適応パラメータ値を前記所定の適応手法を用いて推定し、前記第１パラメータの値を前記推定した第１適応パラメータ値に変換すると共に、前記第２パラメータの値を前記話者性制御パラメータ値指定手段で指定されたパラメータ値に変換するようになっていることを特徴とする請求項９に記載の声質変換システム。
【請求項１１】
任意の元話者の任意の発声内容の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換システムであって、
請求項３に記載の声質変換モデル生成装置によって生成された、所定のＮ人（Ｎは２以上の整数）の元話者の声質の音声を１人の中間話者の音声に変換する第１声質変換モデル、及び前記１人の中間話者の音声を前記Ｍ人の目標話者の声質の音声に変換する第２声質変換モデルを記憶する声質変換モデル記憶手段と、
前記任意の元話者の音声データを取得する元話者音声データ取得手段と、
前記元話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された第１声質変換モデルとに基づき、所定の適応手法を用いて前記第１声質変換モデルを前記任意の元話者の声質の音声に適応させる適応手段と、
前記適応された第１声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記任意の元話者の任意の発声内容の音声データを前記中間話者の声質の音声データに変換すると共に、前記声質変換モデル記憶手段に記憶された第２声質変換モデルを用いて、前記中間話者の声質に変換後の音声データを前記任意の目標話者の音声データに変換する声質変換手段と、を備えることを特徴とする声質変換システム。
【請求項１２】
前記適応手段は、前記第１声質変換モデルを構成する前記Ｎ人の元話者の声質の音声に係るパラメータに対して、前記第１声質変換モデルを前記任意の元話者の声質の音声に適応させる適応パラメータ値を前記所定の適応手法を用いて推定し、前記第１声質変換モデルの前記Ｎ人の元話者の声質の音声に係るパラメータの値を前記推定した適応パラメータ値に変換することを特徴とする請求項１１に記載の声質変換システム。
【請求項１３】
声質変換用の統計モデルを生成する声質変換モデル生成プログラムであって、
所定のＮ（Ｎは１以上の整数）人の元話者の音声データである第１音声データと、当該第１音声データと同じ発声内容の所定のＭ（Ｍは１以上の整数）人の目標話者の音声データである第２音声データとを学習データとして学習を行い、前記Ｎ人の元話者の声質の音声を前記Ｍ人の目標話者の声質の音声に変換するための、前記Ｎ人の元話者及び前記Ｍ人の目標話者に共通の統計モデルである声質変換モデルを生成する声質変換モデル生成ステップをコンピュータに実行させるためのプログラムを含み、
前記Ｎ及び前記Ｍのうち、少なくとも一方が２以上の整数であることを特徴とする声質変換モデル生成プログラム。
【請求項１４】
声質変換用の統計モデルを生成する声質変換モデル生成方法であって、
所定のＮ（Ｎは１以上の整数）人の元話者の音声データである第１音声データと、当該第１音声データと同じ発声内容の所定のＭ（Ｍは１以上の整数）人の目標話者の音声データである第２音声データとを学習データとして学習を行い、前記Ｎ人の元話者の声質の音声を前記Ｍ人の目標話者の声質の音声に変換するための、前記Ｎ人の元話者及び前記Ｍ人の目標話者に共通の統計モデルである声質変換モデルを生成する声質変換モデル生成ステップを含み、
前記Ｎ及び前記Ｍのうち、少なくとも一方が２以上の整数であることを特徴とする声質変換モデル生成方法。
【請求項１５】
クライアントコンピュータとサーバコンピュータとがネットワークを介して接続され、任意の元話者の任意の発声内容の音声を任意の目標話者の声質の音声に変換する声質変換クライアントサーバシステムにおいて、
前記サーバコンピュータは、
請求項１に記載の声質変換モデル生成装置によって生成された、所定のＮ（Ｎは２以上の整数）人の元話者の声質の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
前記声質変換モデル記憶手段に記憶された前記声質変換モデルを前記クライアントコンピュータへ送信する声質変換モデル送信手段とを備え、
前記クライアントコンピュータは、
前記任意の元話者の音声データを取得する元話者音声データ取得手段と、
前記任意の目標話者の音声データを取得する目標話者音声データ取得手段と、
前記サーバコンピュータからの前記声質変換モデルを受信する声質変換モデル受信手段と、
前記元話者音声データ取得手段で取得した音声データと、前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル受信手段で受信した声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声及び前記任意の目標話者の声質の音声に適応させる適応手段と、
前記適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記任意の元話者の任意の発声内容の音声データを前記任意の目標話者の音声データに変換する声質変換手段と、を備えることを特徴とする声質変換クライアントサーバシステム。
【請求項１６】
請求項１５記載の声質変換クライアントサーバシステムに適用されるサーバコンピュータであって、
前記声質変換モデル記憶手段及び前記声質変換モデル送信手段を備えることを特徴とするサーバコンピュータ。
【請求項１７】
請求項１５記載の声質変換クライアントサーバシステムに適用されるクライアントコンピュータであって、
前記元話者音声データ取得手段、前記目標話者音声データ取得手段、前記声質変換モデル受信手段、前記適応手段及び前記声質変換手段を備えることを特徴とするクライアントコンピュータ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の元話者の声質の音声を所定の目標話者の声質の音声に変換するための声質変換モデルを生成する声質変換モデル生成装置、声質変換モデル生成プログラム及び声質変換モデル生成方法、並びに前記声質変換モデルを用いて任意の元話者の声質の音声を任意の目標話者の声質の音声に変換する声質変換システム、声質変換プログラム及び声質変換方法に関する。
【背景技術】
【０００２】
従来、１人の元話者の声質の音声を１人の目標話者の声質の音声に変換する声質変換モデルを両者の同じ発声内容の音声データを用いて生成し、この声質変換モデルを所定の適応手法を用いて他の元話者及び他の目標話者の声質の音声に適応させ、当該適応後のモデルを用いて、前記他の元話者の任意の音声を他の目標話者の声質の音声に変換する技術がある（例えば、非特許文献１など）。
【非特許文献１】A．Mouchtaris and J.V．der Spiegel and P．Mucller“Non-parallel training for voice conversion by maximum licklihood constrained adaptation”ICASSP2004，vol．1 pp．1-4
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記非特許文献１の従来技術においては、適応対象の声質変換モデルが、１人の元話者の音声データと１人の目標話者の音声データとの計２人の話者の音声データから生成されるため、適応後のモデルによって変換された他者の音声の音質は、前記２人の話者間の変換規則のみに依存することになる。つまり、２人の話者の音声データとかけ離れた性質の他者の音声に対しては、変換後の音質が悪くなる恐れがある。特に、適応に用いる他者の音声データ数が少ない場合は、変換後の音質が著しく悪くなる恐れがある。
【０００４】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、様々な性質の音声に適応させることができる声質変換モデルを生成するのに好適な声質変換モデル生成装置、声質変換モデル生成プログラム及び声質変換モデル生成方法、並びに前記声質変換モデルと所定の適応手法とを用いて、任意の元話者の声質の音声を任意の目標話者の声質の音声に変換するのに好適な声質変換システム、声質変換プログラム及び声質変換方法を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明に係る請求項１記載の声質変換モデル生成装置は、
声質変換用の統計モデルを生成する声質変換モデル生成装置であって、
所定のＮ（Ｎは１以上の整数）人の元話者の音声データである第１音声データと、当該第１音声データと同じ発声内容の所定のＭ（Ｍは１以上の整数）人の目標話者の音声データである第２音声データとを学習データとして学習を行い、前記Ｎ人の元話者の声質の音声を前記Ｍ人の目標話者の声質の音声に変換するための、前記Ｎ人の元話者及び前記Ｍ人の目標話者に共通の統計モデルである声質変換モデルを生成する声質変換モデル生成手段を備え、
前記Ｎ及び前記Ｍのうち、少なくとも一方が２以上の整数であることを特徴とする。
【０００６】
このような構成であれば、声質変換モデル生成手段は、所定のＮ（Ｎは１以上の整数）人の元話者の音声データである第１音声データと、当該第１音声データと同じ発声内容の所定のＭ（Ｍは１以上の整数）人の目標話者の音声データである第２音声データとを学習データとして所定の学習アルゴリズムを用いて学習を行うことが可能である。そして、この学習によって、前記Ｎ人の元話者の声質の音声を前記Ｍ人の目標話者（前記Ｎ及び前記Ｍのうち、少なくとも一方は２以上）の声質の音声に変換する、前記Ｎ人の元話者及び前記Ｍ人の目標話者に共通の統計モデルである声質変換モデルを生成することが可能である。
【０００７】
従って、例えば、Ｎ人（２人以上）の元話者の音声データと１人の目標話者の音声データとから声質変換モデルを生成した場合は、１つの声質変換モデルで、様々な声質の元話者の音声を前記１人の目標話者の声質の音声に変換できる。
また、例えば、１人の元話者の音声データとＭ人（２人以上）の目標話者の音声データとから声質変換モデルを生成した場合は、１つの声質変換モデルで、１人の元話者の声質の音声を様々な声質の目標話者の声質の音声に変換することができる。
【０００８】
また、例えば、Ｎ人（２人以上）の元話者の音声データとＭ人（２人以上）の目標話者の音声データとから、これらの話者に共通の声質変換モデルを生成する場合は、１つあるいは２つの声質変換モデルで、様々な声質の元話者の音声を様々な声質の目標話者の声質の音声に変換できる。ここで、Ｎ人の元話者の声質の音声を前記Ｍ人の目標話者の声質の音声に変換する声質変換モデルを１つの声質変換モデルで構成しても良いし、Ｎ人の元話者の音声を１人の目標話者Ａに変換する第１声質変換モデルと、１人の元話者Ａの声質の音声をＭ人の目標話者の声質の音声に変換する第２声質変換モデルとの２つのモデルで構成しても良い。いずれの構成であっても、Ｎ人の元話者及びＭ人の目標話者の少なくとも一方に対しては１つの声質変換モデルが対応する。
【０００９】
これによって、声質変換モデルに必要なメモリ量を大幅に低減できるので当該声質変換モデルを用いた声質変換システムの構築にかかるコストを低減できるという効果が得られる。また、メモリ資源の豊かではない（制約のある）環境下において、声質変換システムを構築しやすくできるという効果も得られる。例えば、携帯電話等のモバイル機器において、内部メモリの増設を行ったり、外付メモリを接続したりしなくても、元もとのメモリ資源で簡易に声質変換システムを構築することが可能となる。
【００１０】
また、前記声質変換モデルを、所定の適応手法で声質変換対象の元話者の声質の音声、及び声質変換目標の目標話者の声質の音声のうち、少なくとも一方に適応させて声質変換に用いる場合に、１人の元話者の音声データと１人の目標話者の音声データとから生成された声質変換モデルを適応させて用いるよりも、様々な声質の元話者の声質の音声、及び様々な声質の目標話者の音声のうち、少なくとも一方に対して声質変換モデルを適切に適応させることができるので、声質変換後の音声の音質を向上することができるという効果が得られる。特に、学習データを提供する元話者あるいは目標話者の人数が多人数であればあるほど様々な特性が反映された声質変換モデルを生成することができるので、多人数にすればするほど声質変換後の音声の音質をより向上することができる。
【００１１】
ここで、上記統計モデルは、ＧＭＭ（Gaussian mixture model）、ニューラルネットワークなど、例えば、Ｎ人の元話者の声質の音声を１人の目標話者の声質の音声に変換したり、１人の元話者の声質の音声をＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換したり、Ｎ人の元話者の声質の音声をＭ人の目標話者の声質の音声に変換したりする変換規則を１つのモデル（関数など）で表現できるものであればどのようなものでも良い。以下の声質変換モデル生成装置に関する発明、声質変換モデル生成プログラムに関する発明、声質変換モデル生成方法に関する発明において同じである。
【００１２】
また、上記学習は、例えば、最尤パラメータ推定を行う公知のＥＭアルゴリズムなどを用いた学習が該当する。例えば、混合正規分布を用いた統計モデルであるＧＭＭであれば、混合重みλ、平均μ、分散σ2がモデルのパラメータとなる。このパラメータを学習データを用いて決定する。以下の声質変換モデル生成装置に関する発明、声質変換モデル生成プログラムに関する発明、声質変換モデル生成方法に関する発明において同じである。
【００１３】
また、上記第１音声データと同じ発声内容の所定のＭ人の第２音声データとは、それぞれ異なる文章で構成される発話文セットａ，ｂ，ｃ（例えば、セット毎に５０文ずつ）の音声データが第１音声データに含まれるとき、例えば、所定のＭ人の目標話者がＡ、Ｂ、Ｃの３人（Ｍ＝３）であるとすると、第２音声データには、目標話者Ａ、Ｂ、Ｃの発声した発話文セットａ，ｂ，ｃの音声データが含まれている必要がある。例えば、目標話者Ａ、Ｂ、Ｃの各話者毎の発話文セットａ，ｂ，ｃが含まれていても良いし、目標話者Ａの発話文セットａ、目標話者Ｂの発話文セットｂ及び目標話者Ｃの発話文セットｃといったように、元話者の発声内容（発話文セットａ，ｂ，ｃ）と同じものが全て含まれるのであれば、目標話者Ａ、Ｂ、Ｃの発話文セットの内容はどのようなものでも良い。但し、必ず３人の目標話者の音声データ（ａ，ｂ，ｃのいずれか）が含まれている必要がある（誰かが発話しないような組み合わせは除く）。以下の声質変換モデル生成装置に関する発明、声質変換モデル生成プログラムに関する発明、声質変換モデル生成方法に関する発明において同じである。
【００１４】
更に、請求項２に係る発明は、請求項１記載の声質変換モデル生成装置において、
前記Ｍは２以上の整数であり、
前記Ｎ人の元話者の前記第１音声データと、前記Ｍ人の目標話者の前記第２音声データとを用いて適応学習を行う適応学習手段をさらに備え、
前記適応学習手段は、所定の元話者の声質の音声を所定の目標話者の声質の音声に変換する初期声質変換モデルを、前記Ｎ人の元話者の声質の音声、及び前記Ｍ人の目標話者の声質の音声のうち、少なくとも前記Ｍ人の目標話者の声質の音声に適応させる適応学習を固有声技術に基づいて行い、声質を制御できる話者性制御パラメータを有する声質変換モデルを生成することを特徴とする。
【００１５】
このような構成であれば、適応学習手段によって、所定の元話者の声質の音声を所定の目標話者の声質の音声に変換する初期声質変換モデルを、前記Ｎ人の元話者の声質の音声、及び前記Ｍ人の目標話者の声質の音声のうち、少なくとも前記Ｍ人の目標話者の声質の音声に適応させる適応学習を固有声技術に基づいて行い、声質を制御できる話者性制御パラメータを有する声質変換モデルを生成することが可能である。
【００１６】
従って、公知の固有声（Eigenvoice）技術を用いた適応学習を行って声質変換モデルを生成することが可能となるので、声質変換モデルの各話者性制御パラメータを変更して声質変換時の目標話者の声質を簡易に制御することが可能である。これによって、話者性制御パラメータを制御することで、声質変換モデルを任意の目標話者の声質の音声に簡易に適応させることができるという効果が得られる。また、固有声技術を用いることで、少ない音声データ（例えば、１発声のデータ〜数発声のデータ）で新規元話者の声質の音声を声質変換モデルに適応させることができる。これによって、適応処理にかかる時間が少なくて済むので、例えば、リアルタイム（オンライン）に適応処理及び声質変換処理を行うことが可能となる。
【００１７】
ここで、上記固有声技術とは、多数話者（好ましくは１００〜２００人の話者）の固有ベクトルから構成される固有声空間（固有空間ともいう）を用いた話者適応技術のことである。固有声空間を生成するには、例えば、Ｍ人（２人以上）の話者の音声データ（学習データ）から、まず各話者毎の特定モデル（特定話者モデル）を学習により生成し、当該生成した特定話者モデルに基づき、各話者毎の超（スーパー）ベクトルを生成する。特定話者モデルは、ＨＭＭなどから構成され、超ベクトルは、ＨＭＭモデルを構成する複数のパラメータ（例えば、混合成分、混合係数、ガウス密度、平均ベクトル、共分散行列等）の少なくとも一部分（例えば、ガウス分布に係るパラメータの平均）のパラメータを所定順序（全ての超ベクトルで共通となる順序）で並べたリストから構成される。超ベクトルが形成されたら、次に、当該超ベクトルの次元を減縮する。具体的に、高次元の超ベクトルをこれより低次元の超ベクトルへと写像する。この次元減縮を行う方法としては、主成分分析法、線形判別分析法、要素分析法、特異点分解法などの様々な方法がある。そして、前記いずれかの方法を用いた次元減縮によって、各話者毎の固有ベクトル（次元減縮後の超ベクトル）が形成される。この固有ベクトルから形成される空間が固有声空間となる。より詳しくは、「R. Kuhn, et al. "Rapid speaker adaptation in eigenvoice space." IEEE Trans. Speech and Audio Processing, Vol. 8, No. 6, pp. 695-707, 2000.」などの文献に記載されている。以下の声質変換モデル生成装置に関する発明、声質変換モデル生成プログラムに関する発明、声質変換モデル生成方法に関する発明において同じである。
【００１８】
一方、上記目的を達成するために、請求項３記載の声質変換モデル生成装置は、
声質変換用の統計モデルを生成する声質変換モデル生成装置であって、
所定のＮ（Ｎは２以上の整数）人の元話者の音声データである第１音声データと、当該第１音声データと同じ発声内容の所定の１人の中間話者の音声データである第３音声データとを学習データとして学習を行い、前記Ｎ人の元話者の声質の音声を前記１人の中間話者の音声に変換するための、前記Ｎ人の元話者及び前記１人の中間話者に共通の１つの統計モデルである第１声質変換モデルを生成すると共に、前記１人の中間話者の第３音声データと、当該第３音声データと同じ発声内容の所定のＭ（Ｍは２以上の整数）人の目標話者の音声データである第２音声データとを学習データとして学習を行い、前記１人の中間話者の音声を前記Ｍ人の目標話者の声質の音声に変換するための前記１人の中間話者と前記目標話者の各々とに１対１に対応した統計モデルである、Ｍ個の第２声質変換モデルを生成する声質変換モデル生成手段を備えることを特徴とする。
【００１９】
このような構成であれば、声質変換モデル生成手段によって、所定のＮ人の元話者の第１音声データと、所定の１人の中間話者の第３音声データとを学習データとして学習を行い、前記Ｎ人の元話者の声質の音声を前記１人の中間話者の音声に変換するための、前記Ｎ人の元話者及び前記１人の中間話者に共通の１つの統計モデルである第１声質変換モデルを生成することが可能である。
【００２０】
更に、声質変換モデル生成手段によって、前記１人の中間話者の第３音声データと、前記Ｍ人の目標話者の第２音声データとを学習データとして学習を行い、前記１人の中間話者の音声を前記Ｍ人の目標話者の声質の音声に変換するための前記１人の中間話者と前記目標話者の各々とに１対１に対応した統計モデルである、Ｍ個の第２声質変換モデルを生成することが可能である。
【００２１】
Ｎ人の元話者の声質の音声をＭ人の目標話者の声質の音声に変換する声質変換モデルを各話者毎に別々に生成する従来の方法では、Ｎ×Ｍ個の声質変換モデルを生成する必要がある。一方、中間話者を介し、且つＮ人の元話者の声質の音声を１人の中間話者の音声に変換する１個の第１声質変換モデルを生成するようにした本発明の上記構成においては、この１個の第１声質変換モデルと、１人の中間話者の音声をＭ人の目標話者の声質の音声に変換する各話者毎のＭ個の第２声質変換モデルとの計（Ｍ＋１）個のモデルで構成することができる。従って、従来と比較して、声質変換モデルを記憶するのに必要なメモリ容量を大幅に低減することができるという効果が得られる。
【００２２】
一方、上記目的を達成するために、請求項４記載の声質変換システムは、
任意の元話者の任意の発声内容の音声を１人の目標話者の声質の音声に変換する声質変換システムであって、
請求項１に記載の声質変換モデル生成装置によって生成された、所定のＮ（Ｎは２以上の整数）人の元話者の声質の音声を前記１人の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
前記任意の元話者の音声データを取得する元話者音声データ取得手段と、
前記元話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声に適応させる適応手段と、
前記適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記任意の元話者の任意の発声内容の音声データを前記１人の目標話者の声質の音声データに変換する声質変換手段と、を備えることを特徴とする。
【００２３】
このような構成であれば、元話者音声データ取得手段が任意の元話者の適応処理に用いる音声データを取得すると、適応手段は、この音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声に適応させる。そして、元話者音声データ取得手段が任意の元話者の声質変換対象の任意の発話内容の音声データを取得すると（適応に用いた音声データが声質変換対象であっても良い）、声質変換手段は、前記適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記声質変換対象の音声データを前記１人の目標話者の声質の音声データに変換する。
【００２４】
これによって、請求項１に記載の声質変換モデル生成装置で生成した所定のＮ（Ｎは２以上の整数）人の元話者の声質の音声を前記１人の目標話者の声質の音声に変換する声質変換モデルを、所定の適応手法を用いて任意の元話者の声質の音声に適応させてから声質変換に用いた場合の上述した作用及び効果と同等の作用及び効果が得られる。
【００２５】
ここで、声質変換モデル生成装置で生成した声質変換モデルを、所定の適応手法を用いて任意の話者の声質の音声に適応させる場合の適応手法としては、上記固有声技術、最尤線形回帰（Maximum Likelihood Linear Regression；ＭＬＬＲ）、最大事後確率推定法（Maximum A Posteriori；ＭＡＰ）、制約付きＭＬＬＲ（Constrained ＭＬＬＲ；ＣＭＬＬＲ）、ＭＬＬＲとＭＡＰとの組み合わせ、固有声技術とＭＡＰとの組み合わせなどがある。なお、ＭＬＬＲについては、「C. J. Leggetter and P. C. Woodland, "maximum likelihood linear regression for speaker adaptation of continuous-density hidden Markov models," Computer Speech and Language, vol.9, pp171-185, 1995.」などに詳しく記載されている。また、ＭＡＰについては、「J. L. Gauvain and C. H. Lee, "Maximum a posteriori estimation for multivariate Gaussian mixture observations of Markov chains," IEEE Trains. Speech Audio Process., voil.2, no.2, pp.291-298, April 1994.」に詳しく記載されている。また、ＣＭＬＬＲについては、「V. V. Digalakis, et al. "Speaker adaptation using constrained estimation of Gaussian mixtures," IEEE Trans. Speech Audio Process., vol.3, no.5, pp.357-366, 1995.」に詳しく記載されている。以下の声質変換システムに関する発明、声質変換プログラムに関する発明、声質変換方法に関する発明において同じである。
【００２６】
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。以下の声質変換システムに関する発明において同じである。
【００２７】
一方、上記目的を達成するために、請求項５記載の声質変換システムは、
１人の元話者の任意の発声内容の音声を任意の目標話者の声質の音声に変換する声質変換システムであって、
請求項１に記載の声質変換モデル生成装置によって生成された、前記１人の元話者の声質の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
前記任意の目標話者の音声データを取得する目標話者音声データ取得手段と、
前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の目標話者の声質の音声に適応させる適応手段と、
前記１人の元話者の音声データを取得する元話者音声データ取得手段と、
前記適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記１人の元話者の任意の発声内容の音声データを前記任意の目標話者の声質の音声データに変換する声質変換手段と、を備えることを特徴とする。
【００２８】
このような構成であれば、目標話者音声データ取得手段が任意の目標話者の適応処理に用いる音声データを取得すると、適応手段は、この音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の目標話者の声質の音声に適応させる。そして、元話者音声データ取得手段が任意の元話者の声質変換対象の任意の発話内容の音声データを取得すると、声質変換手段は、前記適応された声質変換モデルを用いて、前記音声データ取得手段で取得した前記声質変換対象の音声データを前記任意の目標話者の音声データに変換する。
【００２９】
これによって、請求項１に記載の声質変換モデル生成装置で生成した１人の元話者の声質の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換モデルを、所定の適応手法を用いて任意の目標話者の声質の音声に適応させてから声質変換に用いた場合の上述した作用及び効果と同等の作用及び効果が得られる。
【００３０】
一方、上記目的を達成するために、請求項６記載の声質変換システムは、
１人の元話者の任意の発声内容の音声を任意の目標話者の声質の音声に変換する声質変換システムであって、
請求項２に記載の声質変換モデル生成装置によって生成された、前記１人の元話者の声質の音声を所定のＭ人（Ｍは２以上の整数）の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
前記任意の目標話者の音声データを取得する目標話者音声データ取得手段と、
前記声質変換モデルにおける前記Ｍ人の目標話者の声質の音声に係る話者性制御パラメータ値を指定する話者性制御パラメータ値指定手段と、
前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の目標話者の声質の音声に適応させる第１適応手段と、
前記話者性制御パラメータ値指定手段で指定されたパラメータ値と、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、前記声質変換モデルを前記指定されたパラメータ値に適応させる第２適応手段と、
前記１人の元話者の音声データを取得する元話者音声データ取得手段と、
前記第１適応手段及び前記第２適応手段の少なくとも一方で適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記１人の元話者の任意の発声内容の音声データを前記任意の目標話者の声質の音声データに変換する声質変換手段と、を備えることを特徴とする。
【００３１】
このような構成であれば、目標話者音声データ取得手段が任意の目標話者の適応処理に用いる音声データを取得すると、第１適応手段は、この音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の目標話者の声質の音声に適応させる。そして、元話者音声データ取得手段が任意の元話者の声質変換対象の任意の発話内容の音声データを取得すると、声質変換手段は、前記第１適応手段によって適応された声質変換モデルを用いて、前記音声データ取得手段で取得した前記声質変換対象の音声データを前記任意の目標話者の音声データに変換する。
【００３２】
また、話者性制御パラメータ値指定手段で任意の話者性制御パラメータ値が指定されると、第２適応手段は、このパラメータ値と、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、前記声質変換モデルを前記指定されたパラメータ値に適応させる。そして、元話者音声データ取得手段が任意の元話者の声質変換対象の任意の発話内容の音声データを取得すると、声質変換手段は、前記第２適応手段によって適応された声質変換モデルを用いて、前記音声データ取得手段で取得した前記声質変換対象の音声データを前記任意の目標話者の音声データに変換する。
【００３３】
これによって、請求項２に記載の声質変換モデル生成装置で生成した１人の元話者の声質の音声を前記Ｍ人の目標話者の声質の音声に変換する声質変換モデルを、所定の適応手法を用いて任意の目標話者の声質の音声に適応させてから声質変換に用いた場合の上述した作用及び効果と同等の作用及び効果が得られる。
また、話者性制御パラメータ値指定手段によって、話者性制御パラメータの値を制御することで、声質変換モデルを任意の目標話者の声質の音声に簡易に適応させることができるという効果が得られる。なお、公知のイコライザーのように、パラメータ値を変更できる操作部（例えば、ダイヤル）の手動操作によって、ユーザが実際の変換後の音声を聞きながら声質を調節することも可能となる。
【００３４】
更に、請求項７記載の声質変換システムは、請求項６に記載の声質変換システムにおいて、
前記第１適応手段は、前記声質変換モデルを構成する前記Ｍ人の目標話者の声質の音声に係るパラメータに対して、前記声質変換モデルを前記任意の目標話者の声質の音声に適応させる適応パラメータ値を前記所定の適応手法を用いて推定し、前記声質変換モデルの前記パラメータ値を前記推定した適応パラメータ値に変換するようになっており、
前記第２適応手段は、前記声質変換モデルを構成する前記Ｍ人の目標話者の声質の音声に係るパラメータに対して、当該パラメータ値を、前記話者性制御パラメータ値指定手段で指定されたパラメータ値に変換するようになっていることを特徴とする。
【００３５】
このような構成であれば、第１適応手段は、所定の適応手法を用いて、声質変換モデルを構成するＭ人の目標話者の声質の音声に係るパラメータの値を、１人の元話者の声質の音声を任意の目標話者の声質の音声に変換するのに適切な値に変換することができる。
また、第２適応手段は、所定の適応手法を用いて、声質変換モデルを構成するＭ人の目標話者の声質の音声に係るパラメータの値を、１人の元話者の声質の音声を話者性制御パラメータ値指定手段で指定されたパラメータ値の示す目標話者の声質の音声に変換するのに適切な値に変換することができる。
【００３６】
これによって、請求項２に記載の声質変換モデル生成装置で生成した１人の元話者の声質の音声を前記Ｍ人の目標話者の声質の音声に変換する声質変換モデルを、所定の適応手法を用いて任意の元話者の声質の音声に適応させて声質変換に用いる場合の上述した作用及び効果と同等の作用及び効果が得られる。
また、話者性制御パラメータ値指定手段によって、話者性制御パラメータの値を制御することで、声質変換モデルを任意の目標話者の声質の音声に簡易に適応させることができるという効果が得られる。
【００３７】
一方、上記目的を達成するために、請求項８記載の声質変換システムは、
任意の元話者の任意の発声内容の音声を任意の目標話者の声質の音声に変換する声質変換システムであって、
請求項１のいずれか１項に記載の声質変換モデル生成装置によって生成された、所定のＮ（Ｎは２以上の整数）人の元話者の声質の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
前記任意の元話者の音声データを取得する元話者音声データ取得手段と、
前記任意の目標話者の音声データを取得する目標話者音声データ取得手段と、
前記元話者音声データ取得手段で取得した音声データと、前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声及び前記任意の目標話者の声質の音声に適応させる適応手段と、
前記適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記任意の元話者の任意の発声内容の音声データを前記任意の目標話者の声質の音声データに変換する声質変換手段と、を備えることを特徴とする。
【００３８】
このような構成であれば、元話者音声データ取得手段が任意の元話者の適応処理に用いる音声データを取得し、目標話者音声データ取得手段が任意の目標話者の適応処理に用いる音声データを取得すると、適応手段は、これらの音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声及び前記任意の目標話者の声質の音声に適応させる。そして、元話者音声データ取得手段が任意の元話者の声質変換対象の任意の発話内容の音声データを取得すると、声質変換手段は、前記適応された声質変換モデルを用いて、前記音声データ取得手段で取得した前記声質変換対象の音声データを前記任意の目標話者の音声データに変換する。
【００３９】
これによって、請求項１に記載の声質変換モデル生成装置で生成した所定のＮ（Ｎは２以上の整数）人の元話者の声質の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換モデルを、所定の適応手法を用いて任意の目標話者の声質の音声に適応させてから声質変換に用いた場合の上述した作用及び効果と同等の作用及び効果が得られる。
【００４０】
一方、上記目的を達成するために、請求項９記載の声質変換システムにおいて、
任意の元話者の任意の発声内容の音声を任意の目標話者の声質の音声に変換する声質変換システムであって、
請求項２に記載の声質変換モデル生成装置によって生成された、所定のＮ（Ｎは２以上の整数）人の元話者の声質の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
任意の元話者の音声データを取得する元話者音声データ取得手段と、
任意の目標話者の音声データを取得する目標話者音声データ取得手段と、
前記声質変換モデルにおける前記Ｍ人の目標話者の声質の音声に係る話者性制御パラメータ値を指定する話者性制御パラメータ値指定手段と、
前記元話者音声データ取得手段で取得した音声データと、前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声及び前記任意の目標話者の声質の音声に適応させる第１適応手段と、
前記元話者音声データ取得手段で取得した音声データと、前記話者性制御パラメータ値指定手段で指定されたパラメータ値と、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、前記声質変換モデルを所定の適応手法を用いて前記任意の元話者の声質の音声及び前記指定されたパラメータ値に適応させる第２適応手段と、
前記第１適応手段及び前記第２適応手段の少なくとも一方で適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記任意の元話者の任意の発声内容の音声データを前記任意の目標話者の声質の音声データに変換する声質変換手段と、を備えることを特徴とする。
【００４１】
このような構成であれば、元話者音声データ取得手段が任意の元話者の適応処理に用いる音声データを取得し、目標話者音声データ取得手段が任意の目標話者の適応処理に用いる音声データを取得すると、第１適応手段は、これらの音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声及び前記任意の目標話者の声質の音声に適応させる。そして、元話者音声データ取得手段が任意の元話者の声質変換対象の任意の発話内容の音声データを取得すると、声質変換手段は、前記第１適応手段で適応された声質変換モデルを用いて、前記音声データ取得手段で取得した前記声質変換対象の音声データを前記任意の目標話者の音声データに変換する。
【００４２】
また、元話者音声データ取得手段が任意の元話者の適応処理に用いる音声データを取得し、話者性制御パラメータ値指定手段によって制御パラメータ値が指定されると、第２適応手段は、これらの音声データ及び話者性制御パラメータ値と、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声及び前記任意の目標話者の声質の音声に適応させる。そして、元話者音声データ取得手段が任意の元話者の声質変換対象の任意の発話内容の音声データを取得すると、声質変換手段は、前記第２適応手段で適応された声質変換モデルを用いて、前記音声データ取得手段で取得した前記声質変換対象の音声データを前記話者性制御パラメータ値で与えられる任意の目標話者の音声データに変換する。
【００４３】
これによって、請求項２に記載の声質変換モデル生成装置で生成した声質変換モデルを、所定の適応手法を用いて任意の元話者の声質の音声、及び任意の目標話者の声質の音声に適応させて声質変換に用いる場合の上述した作用及び効果と同等の作用及び効果が得られる。
また、話者性制御パラメータ値指定手段によって、話者性制御パラメータの値を制御することで、声質変換モデルを任意の目標話者の声質の音声に簡易に適応させることができるという効果が得られる。
【００４４】
また、この構成によって、目標話者の音声が入手可能な場合は、取得された任意の目標話者への変換が可能であり、さらに、目標話者の音声に変換する際、話者性制御パラメータを操作することにより、目標話者の音声を様々な声質にアレンジすることが可能となる。
また、目標話者の音声が入手不可能な場合は、話者性制御パラメータを使用した任意の目標話者への変換が可能となる。話者性制御パラメータを操作すると、実在しない話者の音声に変換することも可能である。
【００４５】
一方、話者性制御パラメータのみを使用して変換する場合は、前記任意の目標話者の音声データを取得する目標話者音声データ取得手段と、前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の目標話者の声質の音声に適応させる第１適応手段と、は不要となる。
【００４６】
更に、請求項１０に係る発明は、請求項９記載の声質変換システムにおいて、
前記第１適応手段は、前記声質変換モデルを構成する前記Ｎ人の元話者に係る第１パラメータ及び前記Ｍ人の目標話者に係る第２パラメータに対して、前記声質変換モデルを前記任意の元話者の声質の音声に適応させる第１適応パラメータ値、及び前記声質変換モデルを前記任意の目標話者の声質の音声に適応させる第２適応パラメータ値を前記所定の適応手法を用いて推定し、前記第１パラメータの値を前記推定した第１適応パラメータ値に変換すると共に、前記第２パラメータの値を前記推定した第２パラメータ値に変換するようになっており、
前記第２適応手段は、前記声質変換モデルを構成する前記第１パラメータ及び前記第２パラメータに対して、前記第１適応パラメータ値を前記所定の適応手法を用いて推定し、前記第１パラメータの値を前記推定した第１適応パラメータ値に変換すると共に、前記第２パラメータの値を前記話者性制御パラメータ値指定手段で指定されたパラメータ値に変換するようになっていることを特徴とする。
【００４７】
このような構成であれば、第１適応手段は、所定の適応手法を用いて、声質変換モデルを構成するＮ人の元話者の声質の音声に係る第１パラメータの値及びＭ人の目標話者の声質の音声に係る第２パラメータの値を、任意の元話者の声質の音声を任意の目標話者の声質の音声に変換するのに適切な値にそれぞれ変換することができる。
【００４８】
また、第２適応手段は、所定の適応手法を用いて、声質変換モデルを構成するＮ人の元話者の声質の音声に係る第１パラメータの値を、任意の元話者の声質の音声を話者性制御パラメータで指定されたパラメータ値の示す目標話者の声質の音声に変換するのに適切な値に変換し、Ｍ人の目標話者の声質の音声に係る第２パラメータの値を、任意の元話者の声質の音声を話者性制御パラメータ値指定手段で指定されたパラメータ値の示す目標話者の声質の音声に変換するのに適切な値に変換することができる。
【００４９】
これによって、請求項２に記載の声質変換モデル生成装置で生成した声質変換モデルを、所定の適応手法を用いて任意の元話者の声質の音声に適応させて声質変換に用いる場合の上述した作用及び効果と同等の作用及び効果が得られる。
また、話者性制御パラメータ値指定手段によって、話者性制御パラメータの値を制御することで、声質変換モデルを任意の目標話者の声質の音声に簡易に適応させることができるという効果が得られる。
【００５０】
一方、上記目的を達成するために、請求項１１記載の声質変換システムは、
任意の元話者の任意の発声内容の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換システムであって、
請求項３に記載の声質変換モデル生成装置によって生成された、所定のＮ人（Ｎは２以上の整数）の元話者の声質の音声を１人の中間話者の音声に変換する第１声質変換モデル、及び前記１人の中間話者の音声を前記Ｍ人の目標話者の声質の音声に変換する第２声質変換モデルを記憶する声質変換モデル記憶手段と、
前記任意の元話者の音声データを取得する元話者音声データ取得手段と、
前記元話者音声データ取得手段で取得した音声データと、前記声質変換モデル記憶手段に記憶された第１声質変換モデルとに基づき、所定の適応手法を用いて前記第１声質変換モデルを前記任意の元話者の声質の音声に適応させる適応手段と、
前記適応された第１声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記任意の元話者の任意の発声内容の音声データを前記中間話者の声質の音声データに変換すると共に、前記声質変換モデル記憶手段に記憶された第２声質変換モデルを用いて、前記中間話者の声質に変換後の音声データを前記任意の目標話者の音声データに変換する声質変換手段と、を備えることを特徴とする。
【００５１】
このような構成であれば、元話者音声データ取得手段が任意の元話者の適応処理に用いる音声データを取得すると、適応手段は、この音声データと、前記声質変換モデル記憶手段に記憶された第１声質変換モデルとに基づき、所定の適応手法を用いて前記第１声質変換モデルを前記任意の元話者の声質の音声に適応させる。そして、元話者音声データ取得手段が任意の元話者の声質変換対象の任意の発話内容の音声データを取得すると（適応に用いた音声データが声質変換対象であっても良い）、声質変換手段は、前記適応された第１声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記声質変換対象の音声データを前記１人の中間話者の声質の音声データに変換する。更に、声質変換手段は、この中間話者の声質の音声データを、前記第２声質変換モデルを用いて目標話者の音声データに変換する。
【００５２】
これによって、請求項３に記載の声質変換モデル生成装置の上述した作用及び効果と同等の作用及び効果が得られる。
更に、請求項１２に係る発明は、請求項１１記載の声質変換システムにおいて、
前記適応手段は、前記第１声質変換モデルを構成する前記Ｎ人の元話者の声質の音声に係るパラメータに対して、前記第１声質変換モデルを前記任意の元話者の声質の音声に適応させる適応パラメータ値を前記所定の適応手法を用いて推定し、前記第１声質変換モデルの前記Ｎ人の元話者の声質の音声に係るパラメータの値を前記推定した適応パラメータ値に変換することを特徴とする。
【００５３】
このような構成であれば、適応手段は、所定の適応手法を用いて、第１声質変換モデルを構成するＮ人の元話者の声質の音声に係るパラメータの値を、任意の元話者の声質の音声を前記１人の中間話者の音声に変換するのに適切な値に変換することができる。これによって、請求項３に記載の声質変換モデル生成装置の上述した作用及び効果と同等の作用及び効果が得られる。
【００５４】
一方、上記目的を達成するために、請求項１３記載の声質変換モデル生成プログラムは、
声質変換用の統計モデルを生成する声質変換モデル生成プログラムであって、
所定のＮ（Ｎは１以上の整数）人の元話者の音声データである第１音声データと、当該第１音声データと同じ発声内容の所定のＭ（Ｍは１以上の整数）人の目標話者の音声データである第２音声データとを学習データとして学習を行い、前記Ｎ人の元話者の声質の音声を前記Ｍ人の目標話者の声質の音声に変換するための、前記Ｎ人の元話者及び前記Ｍ人の目標話者に共通の統計モデルである声質変換モデルを生成する声質変換モデル生成ステップをコンピュータに実行させるためのプログラムを含み、
前記Ｎ及び前記Ｍのうち、少なくとも一方が２以上の整数であることを特徴とする。
【００５５】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、請求項１記載の声質変換モデル生成装置と同等の作用および効果が得られる。
また、上記目的を達成するために、請求項１４記載の声質変換モデル生成方法は、
声質変換用の統計モデルを生成する声質変換モデル生成方法であって、
所定のＮ（Ｎは１以上の整数）人の元話者の音声データである第１音声データと、当該第１音声データと同じ発声内容の所定のＭ（Ｍは１以上の整数）人の目標話者の音声データである第２音声データとを学習データとして学習を行い、前記Ｎ人の元話者の声質の音声を前記Ｍ人の目標話者の声質の音声に変換するための、前記Ｎ人の元話者及び前記Ｍ人の目標話者に共通の統計モデルである声質変換モデルを生成する声質変換モデル生成ステップを含み、
前記Ｎ及び前記Ｍのうち、少なくとも一方が２以上の整数であることを特徴とする。
これにより、請求項１記載の声質変換モデル生成装置と同等の作用及び効果が得られる。
【００５６】
一方、上記目的を達成するために、請求項１５に記載の声質変換サーバクライアントシステムは、
クライアントコンピュータとサーバコンピュータとがネットワークを介して接続され、任意の元話者の任意の発声内容の音声を任意の目標話者の声質の音声に変換する声質変換クライアントサーバシステムにおいて、
前記サーバコンピュータは、
請求項１に記載の声質変換モデル生成装置によって生成された、所定のＮ（Ｎは２以上の整数）人の元話者の声質の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換モデルを記憶する声質変換モデル記憶手段と、
前記声質変換モデル記憶手段に記憶された前記声質変換モデルを前記クライアントコンピュータへ送信する声質変換モデル送信手段とを備え、
前記クライアントコンピュータは、
前記任意の元話者の音声データを取得する元話者音声データ取得手段と、
前記任意の目標話者の音声データを取得する目標話者音声データ取得手段と、
前記サーバコンピュータからの前記声質変換モデルを受信する声質変換モデル受信手段と、
前記元話者音声データ取得手段で取得した音声データと、前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル受信手段で受信した声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声及び前記任意の目標話者の声質の音声に適応させる適応手段と、
前記適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記任意の元話者の任意の発声内容の音声データを前記任意の目標話者の音声データに変換する声質変換手段と、を備えることを特徴とする。
【００５７】
このような構成であれば、サーバコンピュータは、声質変換モデル記憶手段によって、請求項１に記載の声質変換モデル生成装置によって生成された、所定のＮ（Ｎは２以上の整数）人の元話者の声質の音声を所定のＭ（Ｍは２以上の整数）人の目標話者の声質の音声に変換する声質変換モデルを記憶することが可能であり、声質変換モデル送信手段によって、前記声質変換モデル記憶手段に記憶された前記声質変換モデルを前記クライアントコンピュータへ送信することが可能である。
【００５８】
また、クライアントコンピュータは、元話者音声データ取得手段によって、前記任意の元話者の音声データを取得することが可能であり、目標話者音声データ取得手段によって、前記任意の目標話者の音声データを取得することが可能であり、声質変換モデル受信手段によって、前記サーバコンピュータからの前記声質変換モデルを受信することが可能であり、適応手段によって、前記元話者音声データ取得手段で取得した音声データと、前記目標話者音声データ取得手段で取得した音声データと、前記声質変換モデル受信手段で受信した声質変換モデルとに基づき、所定の適応手法を用いて前記声質変換モデルを前記任意の元話者の声質の音声及び前記任意の目標話者の声質の音声に適応させることが可能である。
【００５９】
また、クライアントコンピュータは、声質変換手段によって、前記適応された声質変換モデルを用いて、前記元話者音声データ取得手段で取得した前記任意の元話者の任意の発声内容の音声データを前記任意の目標話者の音声データに変換することが可能である。
これによって、請求項８の声質変換システムと同等の作用及び効果が得られる。
また、声質変換モデル等の比較的容量の大きいデータはサーバコンピュータが保持するようになっているので、ユーザ側のクライアントコンピュータは、声質変換時のみに一時的に声質変換モデルのためのメモリが必要となるが、声質変換モデルを保持し続ける必要が無いという利点がある。更に、声質変換モデルを、サーバコンピュータ側で管理できるので、声質変換モデルのバージョンアップ等を容易に行うことができると共に、バージョンアップされた声質変換モデルをユーザに容易に提供することができるという効果も得られる。
【００６０】
ここで、上記「クライアントコンピュータ」は、ＰＣ、ＷＳなどのデスクトップコンピュータ、ノートＰＣ、ＰＤＡ、携帯電話などの携帯型コンピュータ、携帯ゲーム機などのコンピュータゲーム機などが該当する。以下のクライアントコンピュータにおいて同じである。
また、上記目的を達成するために、請求項１６記載のサーバコンピュータは、
請求項１５記載の声質変換クライアントサーバシステムに適用されるサーバコンピュータであって、
前記声質変換モデル記憶手段及び前記声質変換モデル送信手段を備えることを特徴とする。
【００６１】
このような構成であれば、請求項１５記載の声質変換クライアントサーバシステムにおけるサーバコンピュータと同等の作用及び効果が得られる。
また、上記目的を達成するために、請求項１７記載のクライアントコンピュータは、
前記元話者音声データ取得手段、前記目標話者音声データ取得手段、前記声質変換モデル受信手段、前記適応手段及び前記声質変換手段を備えることを特徴とする。
このような構成であれば、請求項１５記載の声質変換クライアントサーバシステムにおけるクライアントコンピュータと同等の作用及び効果が得られる。
【発明の効果】
【００６２】
以上説明したように、本発明に係る請求項１及び３に記載の声質変換モデル生成装置、請求項１３に記載の声質変換モデル生成プログラム、並びに請求項１４に記載の声質変換モデル生成方法によれば、声質変換モデルに必要なメモリ量を大幅に低減できるので当該声質変換モデルを用いた声質変換システムの構築にかかるコストを低減できるという効果が得られる。また、メモリ資源の豊かではない（制約のある）環境下において、声質変換システムを構築しやすくできるという効果も得られる。
【００６３】
また、本発明に係る請求項２記載の声質変換モデル生成装置によれば、公知の固有声（Eigenvoice）技術を用いた適応学習を行って声質変換モデルを生成することが可能となるので、話者性制御パラメータを制御することで、声質変換モデルを任意の目標話者の声質の音声に簡易に適応させることができるという効果が得られる。
【００６４】
また、本発明に係る請求項４、５、８及び１１のいずれか１項に記載の声質変換システムによれば、請求項１又は請求項３の声質変換モデル生成装置で生成した声質変換モデルを、所定の適応手法で声質変換対象の元話者の声質の音声、及び声質変換目標の目標話者の声質の音声のうち、少なくとも一方に適応させて声質変換に用いるようにしたので、上記請求項１及び請求項３の効果に加え、１人の元話者の音声データと１人の目標話者の音声データとから生成された声質変換モデルを適応させて用いるよりも、様々な声質の元話者の声質の音声、及び様々な声質の目標話者の音声のうち、少なくとも一方に対して声質変換モデルを適切に適応させることができるので、声質変換後の音声の音質を向上することができるという効果が得られる。
【００６５】
また、本発明に係る請求項６、７、９及び１０のいずれか１項に記載の声質変換システムによれば、請求項２記載の声質変換モデル生成装置で生成した固有声技術を用いた声質変換モデルを、声質変換に用いるようにしたので、上記請求項２の効果に加え、固有声技術を用いることで、適応処理にかかる時間を少なくできるので、例えば、リアルタイム（オンライン）に適応処理及び声質変換処理を行うことができるという効果が得られる。
【００６６】
また、本発明に係る請求項１５に記載の声質変換クライアントサーバシステムによれば、上記請求項４に記載の声質変換システムの効果に加え、声質変換モデルのバージョンアップ等を容易に行うことができると共に、バージョンアップされた声質変換モデルをユーザに容易に提供することができるという効果が得られる。
【発明を実施するための最良の形態】
【００６７】
〔第１の実施の形態〕
以下、本発明の実施の形態を図面に基づき説明する。図１〜図５は、本発明に係る声質変換モデル生成装置、声質変換モデル生成プログラム及び声質変換モデル生成方法の第１の実施の形態を示す図である。
まず、本発明に係る声質変換モデル生成装置の構成を図１に基づき説明する。図１は、本発明の第１の実施の形態に係る声質変換モデル生成装置１の構成を示すブロック図である。
【００６８】
声質変換モデル生成装置１は、声質変換元の話者である元話者の音声データを記憶する元話者音声データ記憶部１０と、声質変換目標の話者である目標話者の音声データを記憶する目標話者音声データ記憶部１１と、元話者の声質の音声の声質を目標話者の声質のものに変換する声質変換モデルを生成する声質変換モデル生成部１２と、声質変換モデルを記憶する声質変換モデル記憶部１３とを含んだ構成となっている。
【００６９】
元話者音声データ記憶部１０は、多数（例えば、２００人以上）の元話者の発話した発話文の音声データ（以下、第１音声データと称す）を、各元話者毎に記憶する機能を有している。ここで、第１音声データは、上記多数の元話者の各々に、発話文セットａ〜ｃ（各セット５０文の文章で構成）の文章を発話してもらい、それをマイク等の収音デバイスを介してＰＣ（パーソナルコンピュータ）等の情報処理機器に入力して信号処理した音声波形データである。また、第１音声データは、音声波形データから抽出した特徴パラメータ（例えば、ケプストラム係数（ＣＣ）、メルケプストラム係数（ＭＦＣＣ）など）のパラメータ系列（特徴パラメータ系列）から構成されたデータであっても良い。
【００７０】
目標話者音声データ記憶部１１は、多数（例えば、２００人以上）の目標話者の発話した発話文の音声データ（以下、第２音声データと称す）を、各目標話者毎に記憶する機能を有している。ここで、第２音声データは、上記多数の元話者の発話した発話文セットａ〜ｃを全て含んでおり、各目標話者に発話文セットａ〜ｃ（各セットは、それぞれ異なる内容の文章（５０文）で構成される（セット間でも文章内容が異なる））の文章を発話してもらい、それをマイク等の収音デバイスを介してＰＣ等の情報処理機器に入力して信号処理した音声波形データである。また、第２音声データは、予め音声波形データから抽出した特徴パラメータの系列として記憶しても良い。
【００７１】
声質変換モデル生成部１２は、元話者音声データ記憶部１０に記憶されたＮ人（Ｎ≧２）又は１人の元話者の第１音声データと、目標話者音声データ記憶部１１に記憶されたＭ人（Ｍ≧２）又は１人の目標話者の第２音声データとを学習データとして、Ｎ人又は１人の元話者の声質の音声を、１人又はＭ人の目標話者の声質の音声に変換するように変換規則（統計モデル）を学習して、元話者及び目標話者全員に共通の１つの声質変換モデルを生成する機能を有している。具体的に、生成する声質変換モデルの種類としては、大別して、（１）Ｎ人の元話者の声質の音声を１人の目標話者の声質の音声に変換する声質変換モデル（以下、Ｎ対１声質変換モデルと称す）、（２）１人の元話者の声質の音声をＭ人の目標話者の声質の音声に変換する声質変換モデル（以下、１対Ｍ声質変換モデルと称す）、（３）Ｎ人の元話者の声質の音声をＭ人の目標話者の声質の音声に変換する声質変換モデル（以下、Ｎ対Ｍ声質変換モデルと称す）の３種類となる。
【００７２】
また、声質変換モデル生成部１２は、Ｎ対Ｍ声質変換モデルの別形態として、（４）Ｎ人の元話者の声質の音声を１人の中間話者の音声に変換する声質変換モデル（以下、Ｎ対１中間声質変換モデルと称す）と、１人の中間話者の音声をＭ人の目標話者の声質の音声に変換する当該Ｍ人の目標話者の各々に対応するＭ個の声質変換モデル（以下、１対Ｍ中間声質変換モデルと称す）とから構成される（１＋Ｍ）個の声質変換モデル（以下、Ｎ対Ｍ中間声質変換モデルと称す）を生成することも可能である。この場合は、元話者音声データ記憶部１０又は目標話者音声データ記憶部１１から中間話者となる話者の音声データ（以下、第３音声データと称す）を取得する必要がある。また、例えば、外部の音声合成装置（ＴＴＳ）において、上記発話文セットａ〜ｃのテキスト文から中間話者の合成音声データを生成して取得するようにしても良い。
【００７３】
また、声質変換モデル生成部１２は、通常学習モードと、適応学習モードとの２つの学習モードを有し、これらのモードのうち学習条件として設定されたモードを選択して、選択したモードの学習内容で学習を行い上記した（１）〜（４）の各種声質変換モデルを生成する。
声質変換モデル記憶部１３は、声質変換モデル生成部１２で生成された上記（１）〜（４）の声質変換モデルを記憶したり、後述する適応学習で用いる初期声質変換モデルを記憶したりする機能を有している。
【００７４】
更に、図２に基づき、声質変換モデル生成部１２の詳細な構成を説明する。ここで、図２は、声質変換モデル生成部１２の詳細構成を示すブロック図である。
声質変換モデル生成部１２は、図２に示すように、特徴量抽出部１２ａと、通常学習部１２ｂと、特定話者モデル生成部１２ｃと、適応学習部１２ｄとを含んだ構成となっている。
特徴量抽出部１２ａは、元話者音声データ記憶部１０及び目標話者音声データ記憶部１１から取得した第１〜第３音声データから、ケプストラム分析や線形予測分析などの分析処理によって４次元以上（例えば、４０次元）の特徴量（特徴パラメータともいう）を抽出する機能を有している。
【００７５】
通常学習部１２ｂは、学習条件として通常学習モードが設定されているときに動作し、特徴量抽出部１２ａで抽出された第１〜第３音声データの特徴量を学習データとして、元話者の声質の音声を目標話者の声質の音声に変換するように変換規則（統計モデル）を学習し、上記（１）〜（４）のいずれかの構成の声質変換モデルを生成する機能を有している。本実施の形態においては、具体的に、公知のＥＭアルゴリズムを用いた学習（推定）を行って、ＧＭＭ（Gaussian mixture model）の各パラメータを決定することで、ＧＭＭで構成される声質変換モデルを生成する。
【００７６】
特定話者モデル生成部１２ｃは、学習条件として適応学習モードが設定されているときに動作し、特徴量抽出部１２ａで抽出された第１〜第３音声データの特徴量を学習データとして、元話者各々の音声を目標話者各々の音声にそれぞれ変換するように変換規則をそれぞれ学習して、元話者の各々と目標話者の各々とがそれぞれ１対１に対応する特定話者モデルを生成する機能を有している。
【００７７】
適応学習部１２ｄは、学習条件として適応学習モードが設定されているときに動作し、声質変換モデル記憶部１３から初期声質変換モデルを取得し、当該初期声質変換モデルを、所定の適応手法を用いて適応学習し、特定話者モデル生成部１２ｃで生成された特定話者モデルに適応させる機能を有している。本実施の形態においては、公知の適応手法である固有声技術又は話者正規化学習（Speaker Adaptive Training；ＳＡＴ）などのいずれかを用いて、特定話者モデルから、初期声質変換モデルのパラメータを推定し、当該推定結果に基づき、上記（１）〜（４）のいずれかの構成の声質変換モデルを生成する。また、本実施の形態においては、学習条件として繰り返し学習モードを設定することが可能である。繰り返し学習モードが設定されると、適応学習部１２ｄは、初期声質変換モデルに対して、所定条件を満足するまで適応学習を繰り返して何回も行うと共に、各回の学習後のモデルを、次の回の適応学習における初期声質変換モデルとして利用する。
【００７８】
なお、本実施形態において、声質変換モデル生成装置１は、図示しないプロセッサと、ＲＡＭ（Random Access Memory）と、専用のプログラムの記憶されたＲＯＭ（Read Only Memory）と、を備えており、プロセッサにより専用のプログラムを実行することにより上記各部の機能を果たす。また、上記各部は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすものが混在している。
【００７９】
更に、図３に基づき、声質変換モデル生成装置１における声質変換モデル生成処理の流れを説明する。ここで、図３は、声質変換モデル生成装置１における声質変換モデル生成処理を示すフローチャートである。
声質変換モデル生成処理は、図３に示すように、まずステップＳ１００に移行し、声質変換モデル生成部１２において、不図示の操作部を介したユーザからの声質変換モデルの生成指示があったか否かを判定し、生成指示があったと判定された場合(Yes)は、ステップＳ１０２に移行し、そうでない場合(No)は、生成指示があるまで判定処理を繰り返す。
【００８０】
ここで、生成指示には、学習条件として設定された情報（以下、設定情報と称す）が含まれる。設定情報には、声質変換モデルの構成（Ｎ対１、１対Ｍ、Ｎ対Ｍ、中間話者）、元話者、目標話者及び中間話者の情報（例えば、元話者及び目標話者の音声データに付された話者番号などで指定）、学習モード（通常学習モード、適応学習モード（繰り返し学習モードのオンオフ、所定条件（繰り返し条件）））などの情報が含まれている。
【００８１】
ステップＳ１０２に移行した場合は、声質変換モデル生成部１２において、設定情報に基づき、声質変換モデルの構成がＮ対１（元話者対目標話者）か否かを判定し、Ｎ対１であると判定された場合(Yes)は、ステップＳ１０４に移行し、そうでない場合(No)は、ステップＳ１１４に移行する。
ステップＳ１０４に移行した場合は、声質変換モデル生成部１２において、設定情報に基づき、指定されたＮ人の元話者の第１音声データを元話者音声データ記憶部１０から取得し、指定された１人の目標話者の第２音声データを目標話者音声データ記憶部１１から取得してステップＳ１０６に移行する。
【００８２】
ステップＳ１０６では、声質変換モデル生成部１２において、設定情報に基づき、通常学習モードが設定されているか否かを判定し、設定されていると判定された場合(Yes)は、ステップＳ１０８に移行し、そうでない場合(No)は、ステップＳ１１２に移行する。
ステップＳ１０８に移行した場合は、声質変換モデル生成部１２において、通常学習による声質変換モデルの生成処理を実行し、設定情報のモデル構成に対応した声質変換モデルを生成してステップＳ１１０に移行する。
【００８３】
ステップＳ１１０では、声質変換モデル生成部１２において、ステップＳ１０８又はステップＳ１１２において生成された声質変換モデルを声質変換モデル記憶部１３に記憶して処理を終了する。
一方、ステップＳ１０６において、学習モードが通常学習モードではなくステップＳ１１２に移行した場合は、声質変換モデル生成部１２において、適応学習による声質変換モデルの生成処理を実行し、設定情報のモデル構成に対応した声質変換モデルを生成してステップＳ１１０に移行する。
【００８４】
また、ステップＳ１０２において、声質変換モデルの構成がＮ対１ではなくステップＳ１１４に移行した場合は、声質変換モデル生成部１２において、声質変換モデルの構成が１対Ｍ（元話者対目標話者）か否かを判定し、１対Ｍであると判定された場合(Yes)は、ステップＳ１１６に移行し、そうでない場合(No)は、ステップＳ１１８に移行する。
ステップＳ１１６に移行した場合は、声質変換モデル生成部１２において、設定情報に基づき、指定された１人の元話者の第１音声データを元話者音声データ記憶部１０から取得し、指定されたＭ人の目標話者の第２音声データを目標話者音声データ記憶部１１から取得してステップＳ１０６に移行する。
【００８５】
また、ステップＳ１１８に移行した場合は、声質変換モデル生成部１２において、設定情報に基づき、声質変換モデルの構成が、中間話者を適用したものか否かを判定し、適用したものであると判定された場合(Yes)は、ステップＳ１２０に移行し、そうでない場合(No)は、ステップＳ１２２に移行する。
ステップＳ１２０に移行した場合は、声質変換モデル生成部１２において、設定情報に基づき、指定されたＮ人の元話者の第１音声データを元話者音声データ記憶部１０から取得し、指定された１人の中間話者の第３音声データを、元話者音声データ記憶部１０又は目標話者音声データ記憶部１１から取得し、指定されたＭ人の目標話者の第２音声データを目標話者音声データ記憶部１１から取得してステップＳ１０６に移行する。
【００８６】
また、ステップＳ１２２に移行した場合は、声質変換モデル生成部１２において、設定情報に基づき、指定されたＮ人の元話者の第１音声データを元話者音声データ記憶部１０から取得し、指定されたＭ人の目標話者の第２音声データを目標話者音声データ記憶部１１から取得してステップＳ１０６に移行する。
更に、図４に基づき、声質変換モデル生成部１２における通常学習による声質変換モデル生成処理の流れを説明する。ここで、図４は、声質変換モデル生成部１２における通常学習による声質変換モデル生成処理を示すフローチャートである。
【００８７】
通常学習による声質変換モデル生成処理は、ステップＳ１０８において実行され、図４に示すように、まずステップＳ２００に移行して、特徴量抽出部１２ａにおいて、元話者音声データ記憶部１０及び目標話者音声データ記憶部１１から取得した第１〜第３音声データから特徴量を抽出してステップＳ２０２に移行する。
ステップＳ２０２では、通常学習部１２ｂにおいて、声質変換モデルの設定構成がＮ対１であるか否かを判定し、Ｎ対１であると判定された場合(Yes)は、ステップＳ２０４に移行し、そうでない場合(No)は、ステップＳ２０８に移行する。
【００８８】
ステップＳ２０４では、通常学習部１２ｂにおいて、ステップＳ２００で抽出した、Ｎ人の元話者の特徴量と、１人の目標話者の特徴量とを学習データとして、Ｎ人の元話者の声質の音声を１人の目標話者の声質の音声に変換するように変換規則（統計モデル）を学習させてステップＳ２０６に移行する。
ステップＳ２０６では、通常学習部１２ｂにおいて、ステップＳ２０４の学習結果に基づき、Ｎ人の元話者の声質の音声を１人の目標話者の声質の音声に変換する、Ｎ人の元話者及び１人の目標話者に共通の１つのＮ対１声質変換モデルを生成して、一連の処理を終了して元の処理に復帰する。
【００８９】
一方、ステップＳ２０２において、声質変換モデルの設定構成がＮ対１ではなくステップＳ２０８に移行した場合は、通常学習部１２ｂにおいて、声質変換モデルの設定構成が１対Ｍであるか否かを判定し、１対Ｍであると判定された場合(Yes)は、ステップＳ２１０に移行し、そうでない場合(No)は、ステップＳ２１４に移行する。
ステップＳ２１０に移行した場合は、通常学習部１２ｂにおいて、ステップＳ２００で抽出した、１人の元話者の特徴量と、Ｍ人の目標話者の特徴量とを学習データとして、１人の元話者の声質の音声をＭ人の目標話者の声質の音声に変換するように変換規則（統計モデル）を学習させてステップＳ２１２に移行する。
【００９０】
ステップＳ２１２では、通常学習部１２ｂにおいて、ステップＳ２１０の学習結果に基づき、１人の元話者の声質の音声をＭ人の目標話者の声質の音声に変換する、１人の元話者及びＭ人の目標話者に共通の１つの１対Ｍ声質変換モデルを生成して、一連の処理を終了して元の処理に復帰する。
一方、ステップＳ２０８において、声質変換モデルの設定構成が１対ＭではなくステップＳ２１４に移行した場合は、通常学習部１２ｂにおいて、声質変換モデルの設定構成が中間話者を適用する構成であるか否かを判定し、中間話者を適用する構成あると判定された場合(Yes)は、ステップＳ２１６に移行し、そうでない場合(No)は、ステップＳ２２４に移行する。
【００９１】
ステップＳ２１６に移行した場合は、通常学習部１２ｂにおいて、ステップＳ２００で抽出した、Ｎ人の元話者の特徴量と、１人の中間話者の特徴量とを学習データとして、Ｎ人の元話者の声質の音声を１人の中間話者の音声に変換するように変換規則（統計モデル）を学習させてステップＳ２１８に移行する。
ステップＳ２１８では、通常学習部１２ｂにおいて、ステップＳ２１６の学習結果に基づき、Ｎ人の元話者の声質の音声を１人の中間話者の音声に変換する、Ｎ人の元話者及び１人の中間話者に共通の１つのＮ対１中間声質変換モデルを生成してステップＳ２２０に移行する。
【００９２】
ステップＳ２２０では、通常学習部１２ｂにおいて、ステップＳ２００で抽出した、１人の中間話者の特徴量と、Ｍ人の目標話者の特徴量とを学習データとして、１人の中間話者の音声をＭ人の目標話者の各々の音声にそれぞれ変換するように変換規則（統計モデル）を学習させてステップＳ２２２に移行する。
ステップＳ２２２では、通常学習部１２ｂにおいて、ステップＳ２２０の学習結果に基づき、１人の中間話者の音声をＭ人の目標話者の各々の音声に変換する、Ｍ人の目標話者の各々にそれぞれ対応したＭ個の１対Ｍ中間声質変換モデルを生成して、一連の処理を終了し元の処理に復帰する。
【００９３】
一方、ステップＳ２１４において、声質変換モデルの設定構成が中間話者を適用した構成ではなくステップＳ２２４に移行した場合は、通常学習部１２ｂにおいて、ステップＳ２００で抽出した、Ｎ人の元話者の特徴量と、Ｍ人の目標話者の特徴量とを学習データとして、Ｎ人の元話者の声質の音声をＭ人の目標話者の声質の音声に変換するように変換規則（統計モデル）を学習させてステップＳ２２６に移行する。
【００９４】
ステップＳ２２６では、通常学習部１２ｂにおいて、ステップＳ２１４の学習結果に基づき、Ｎ人の元話者の声質の音声をＭ人の目標話者の声質の音声に変換する、Ｎ人の元話者及びＭ人の目標話者に共通のＮ対Ｍ声質変換モデルを生成して、一連の処理を終了し元の処理に復帰する。ここで、Ｎ対Ｍ声質変換モデルは、共通の１つの声質変換モデルから構成されていても良いし、Ｎ対１声質変換モデル及び１対Ｍ声質変換モデルの２つの組み合わせによって構成されていても良い。２つの組み合わせの場合は、Ｎ対１の目標話者と、１対Ｍの元話者とを共通の話者とする。
【００９５】
更に、図５に基づき、声質変換モデル生成部１２における適応学習による声質変換モデル生成処理の流れを説明する。ここで、図５は、声質変換モデル生成部１２における適応学習による声質変換モデル生成処理を示すフローチャートである。
適応学習による声質変換モデル生成処理は、ステップＳ１１２において実行され、図５に示すように、まずステップＳ３００に移行して、特定話者モデル生成部１２ｃにおいて、設定情報において指定された声質変換モデルの構成に基づき、声質変換モデル記憶部１３から、前記設定構成に対応する１つの初期声質変換モデルを取得してステップＳ３０２に移行する。具体的には、設定構成がＮ対１ならＮ対１声質変換モデルを、１対Ｍなら１対Ｍ声質変換モデルを、Ｎ対ＭならＮ対Ｍ声質変換モデルを、初期声質変換モデルとして取得する。なお、初期声質変換モデルは、ニューラルネットワーク、ＧＭＭ等の統計モデルから構成される。
【００９６】
ステップＳ３０２では、特徴量抽出部１２ａにおいて、元話者音声データ記憶部１０及び目標話者音声データ記憶部１１から取得した第１〜第３音声データから特徴量を抽出してステップＳ３０４に移行する。
ステップＳ３０４では、特定話者モデル生成部１２ｃにおいて、設定情報に基づき、声質変換モデルの構成がＮ対１であるか否かを判定し、Ｎ対１であると判定された場合(Yes)は、ステップＳ３０６に移行し、そうでない場合(No)は、ステップＳ３２２に移行する。
【００９７】
ステップＳ３０６では、特定話者モデル生成部１２ｃにおいて、ステップＳ３０２で抽出した、Ｎ人の元話者の特徴量と、１人の目標話者の特徴量とを学習データとして、Ｎ人の元話者の各々の音声を１人の目標話者の声質の音声にそれぞれ変換するように変換規則を学習させて、Ｎ人の元話者にそれぞれ対応するＮ個の特定話者モデルを生成してステップＳ３０８に移行する。具体的には、Ｎ人の元話者の各話者毎に、当該各話者の特徴量及び１人の目標話者の特徴量を用いて上記取得した初期声質変換モデルをもとに学習し、各話者毎の声質変換モデル（＝特定話者モデル）を生成する。
【００９８】
ステップＳ３０８では、適応学習部１２ｄにおいて、所定の適応手法を用いて、ステップＳ３０６で生成したＮ個の特定話者モデルを、初期声質変換モデルに適応させる適応処理を実行してステップＳ３１０に移行する。具体的には、Ｎ個の特定話者モデルを全て用いて、上記取得した１つの初期声質変換モデルのパラメータを所定の適応手法を用いて推定する。
【００９９】
ステップＳ３１０では、適応学習部１２ｄにおいて、適応処理が終了したか否かを判定し、終了したと判定された場合(Yes)は、ステップＳ３１２に移行し、そうでない場合(No)は、終了するまで適応処理を実行する。
ステップＳ３１２に移行した場合は、適応学習部１２ｄにおいて、設定情報に基づき、繰り返し学習モードが設定されているか否かを判定し、設定されていると判定された場合(Yes)は、ステップＳ３１４に移行し、そうでない場合(No)は、ステップＳ３１８に移行する。
【０１００】
ステップＳ３１４に移行した場合は、適応学習部１２ｄにおいて、適応後のモデルを評価してステップＳ３１６に移行する。例えば、声質変換モデルの音声のスペクトル特徴量として、ケプストラム係数が用いられている場合、変換精度の評価尺度として、ケプストラム歪（Cepstral Distortion）を用いることが可能である。ケプストラム歪は、元話者から変換したケプストラムと、目標話者のケプストラムとの歪を計算することで算出される。ケプストラム歪は、下式（１）で表され、この算出値が小さいほど高い評価となる。
【０１０１】
【数１】
2008058696.tif 000003
【０１０２】
上式（１）において、Cixは目標話者の音声のケプストラム係数、Ciyは変換音声のケプストラム係数、pはケプストラム係数の次数を示す。
ステップＳ３１６では、適応学習部１２ｄにおいて、ステップＳ３１４の評価結果が所定の条件を満足しているか否かを判定し、満足していると判定された場合(Yes)は、ステップＳ３１８に移行し、そうでない場合(No)は、ステップＳ３２０に移行する。例えば、所定条件として、上記ケプストラム歪の閾値が与えられており、当該閾値以下となるまで適応学習を繰り返し行う。
【０１０３】
ステップＳ３１８に移行した場合は、適応学習部１２ｄにおいて、所定の適応手法を用いた適応処理結果に基づき、全ての元話者及び目標話者に共通の１つの声質変換モデルを生成する。そして、一連の処理を終了して元の処理に復帰する。具体的には、初期声質変換モデルのパラメータ値を、適応処理によって推定されたパラメータ値に変換して声質変換モデルを生成する。このようにして生成される声質変換モデルは、設定情報で指定された声質変換モデルの構成に応じて、Ｎ人の元話者、Ｍ人の目標話者、あるいはこれら双方が適応されたモデルとなる。
【０１０４】
一方、ステップＳ３１６において、所定の条件を満足しておらずステップＳ３２０に移行した場合は、適応学習部１２ｄにおいて、初期声質変換モデルを適応学習後の声質変換モデルに置換してステップＳ３０４に移行する。
また、ステップＳ３０４において、設定情報で指定された声質変換モデルの構成がＮ対１ではなくステップＳ３２２に移行した場合は、特定話者モデル生成部１２ｃにおいて、設定情報で指定された声質変換モデルの構成が１対Ｍであるか否かを判定し、１対Ｍであると判定された場合(Yes)は、ステップＳ３２４に移行し、そうでない場合(No)は、ステップＳ３２８に移行する。
【０１０５】
ステップＳ３２４に移行した場合は、特定話者モデル生成部１２ｃにおいて、ステップＳ３００で抽出した、１人の元話者の特徴量と、Ｍ人の目標話者の特徴量とを学習データとして、１人の元話者の声質の音声をＭ人の目標話者の各々の音声にそれぞれ変換するように変換規則を学習させて、Ｍ人の目標話者にそれぞれ対応するＭ個の特定話者モデルを生成してステップＳ３２６に移行する。具体的には、Ｍ人の目標話者の各話者毎に、当該各話者の特徴量及び１人の元話者の特徴量を用いて上記取得した初期声質変換モデルをもとに学習し、各話者毎の特定話者モデルを生成する。
【０１０６】
ステップＳ３２６では、適応学習部１２ｄにおいて、所定の適応手法を用いて、ステップＳ３２４で生成したＭ個の特定話者モデルを、初期声質変換モデルに適応させる適応処理を実行してステップＳ３１０に移行する。具体的には、Ｍ個の特定話者モデルを全て用いて、上記取得した１つの初期声質変換モデルのパラメータを所定の適応手法を用いて推定する。
【０１０７】
一方、ステップＳ３２２において、設定情報で指定された声質変換モデルの構成が１対ＭではなくステップＳ３２８に移行した場合は、適応学習部１２ｄにおいて、設定情報で指定された構成が中間話者を適用した構成であるか否かを判定し、中間話者を適用した構成であると判定された場合(Yes)は、ステップＳ３３０に移行し、そうでない場合(No)は、ステップＳ３３４に移行する。
【０１０８】
ステップＳ３３０に移行した場合は、特定話者モデル生成部１２ｃにおいて、ステップＳ３００で抽出した、Ｎ人の元話者の特徴量と、１人の中間話者の特徴量とを学習データとして、Ｎ人の元話者の各々の音声を１人の中間話者の音声にそれぞれ変換するように変換規則を学習させて、Ｎ人の元話者にそれぞれ対応するＮ個の特定話者モデルを生成してステップＳ３３２に移行する。
ステップＳ３３２では、適応学習部１２ｄにおいて、所定の適応手法を用いて、ステップＳ３３０で生成したＮ個の特定話者モデルを、初期声質変換モデルに適応させる適応処理を実行してステップＳ３１０に移行する。
【０１０９】
一方、ステップＳ３２８において、設定情報で指定された声質変換モデルの構成が中間話者を適用した構成ではなくステップＳ３３４に移行した場合は、特定話者モデル生成部１２ｃにおいて、ステップＳ３００で抽出した、Ｎ人の元話者の特徴量と、Ｍ人の目標話者の特徴量とを学習データとして、Ｎ人の元話者の各々の音声をＭ人の目標話者の各々の音声にそれぞれ変換するように変換規則を学習させて、Ｎ人の元話者及びＭ人の目標話者にそれぞれ対応するＮ×Ｍ個の特定話者モデルを生成してステップＳ３３６に移行する。具体的には、Ｎ人の元話者の各話者毎且つＭ人の目標話者の各話者毎に、当該各元話者及び当該各目標話者の特徴量を用いて上記取得した初期声質変換モデルをもとに学習し、各１人の元話者及び各１人の目標話者の各組毎の特定話者モデルを生成する。
【０１１０】
ステップＳ３３６では、適応学習部１２ｄにおいて、所定の適応手法を用いて、ステップＳ３３４で生成したＮ×Ｍ個の特定話者モデルを、初期声質変換モデルに適応させる適応処理を実行してステップＳ３１０に移行する。具体的には、Ｎ×Ｍ個の特定話者モデルを全て用いて、上記取得した１つの初期声質変換モデルのパラメータを所定の適応手法を用いて推定する。
【０１１１】
次に、本実施の形態の動作を説明する。
声質変換モデル生成装置１は、まず、ユーザによる不図示の操作部の操作によって、声質変換モデルの生成指示（設定情報含む）が入力されると（ステップＳ１００の「Ｙｅｓ」の分岐）、設定情報に基づき、生成する声質変換モデルの構成を判定する。ここでは、生成する声質変換モデルは１対Ｍ声質変換モデルであるとする（ステップＳ１１４の「Ｙｅｓ」の分岐）。
【０１１２】
モデルの構成が判定されると、次に、声質変換モデル生成部１２において、元話者音声データ記憶部１０から設定情報で指定された１人の元話者の音声データ（上記した発話文セットａ，ｂ，ｃの音声データ）を取得し、目標話者音声データ記憶部１１から設定情報で指定されたＭ人の目標話者の音声データ（上記した発話文セットａ，ｂ，ｃの音声データ）を取得する（ステップＳ１１６）。つまり、１人の元話者の音声データと、Ｍ人の目標話者の音声データとは両者が同じ発話内容のデータセットとなっている（以下、パラレル音声データセットと称す）。
【０１１３】
パラレル音声データセットが取得されると、設定情報に基づき、声質変換モデルの生成モードが通常学習モードか適応学習モードかを判定する。ここでは、適応学習モードが設定されているとする（ステップＳ１０６の「Ｎｏ」の分岐）。これにより、適応学習部１２ｄにおいて、所定の適応手法を用いた適応学習による１対Ｍ声質変換モデルの生成処理が実行される（ステップＳ１１２）。
【０１１４】
適応学習による声質変換モデルの生成処理が開始されると、まず、適応学習部１２ｄにおいて、声質変換モデル記憶部１３から、初期声質変換モデルを取得する（ステップＳ３００）。この初期声質変換モデルは、１人の元話者及びＭ人の目標話者の事前学習用のパラレル音声データセットで学習の施されたＧＭＭから構成される。
以下、ＧＭＭに基づく声質変換手法（例えば、T. Toda ct al., proc. ICASSP, Vol. 1, pp. 9-12, Philadel-phia, USA, Mar. 2005.参照）について詳しく説明する。時間領域においてフレームごとに対応付けられた、変換元となる元話者の音声の静的・動的特徴量Ｘtおよび変換先となる目標話者の音声の静的・動的特徴量Ｙtを、それぞれ下式（２）及び（３）と表す。
Ｘt＝[ｘtT，ΔｘtT]T                          ・・・・（２）
Ｙt＝[ｙtT，ΔｙtT]T                          ・・・・（３）
上式（２）及び（３）において、ｐは特徴量の次元数であり、Ｔは転置を示す。ＧＭＭでは、音声の特徴量Ｘt、Ｙtの結合確率分布ｐ（Ｘt，Ｙt｜λ）を下式（４）と表す。
【０１１５】
【数２】
2008058696.tif 000004
【０１１６】
上式（４）において、αｉはｉ番目の分布の重み、ｍは混合数である。Ｘt、Ｙtは、各々２Ｄ次元とする。また、Ｎ（ｘ；μｉ，Σｉ）はｉ番目の分布での平均ベクトルμｉおよび共分散行列Σｉを有する正規分布であり、下式（５）と表される。
【０１１７】
【数３】
2008058696.tif 000005
【０１１８】
次に、入出力特徴量系列ベクトルを各々Ｘ＝[Ｘ1T，・・・，ＸTT]T、Ｙ＝[Ｙ1T，・・・，ＹTT]Tとすると、静的・動的特徴量系列に対する尤度は、下式（６）と表される。
【０１１９】
【数４】
2008058696.tif 000006
【０１２０】
フレームｔにおいて、入力特徴量Ｘtが与えられた際の出力特徴量ｙiの条件付確率密度を下式（７）及び（８）に示すＧＭＭでモデル化する。
【０１２１】
【数５】
2008058696.tif 000007
【０１２２】
ここで、上式（７）及び（８）における、条件付確率分布ｍiの平均ベクトルＥi（ｍi）、及び共分散行列Ｄ（ｍi）は、それぞれ下式（９）及び（１０）で表される。
【０１２３】
【数６】
2008058696.tif 000008
【０１２４】
また、上式（６）の尤度を最大とする静的特徴量系列ｙ＝[ｙ1T，・・・，ｙTT]Tを変換特徴量系列とする。
ｙ＝argmaxｐ（Ｙ｜Ｘ，λ）    subject to  Ｙ＝Ｗｙ              ・・・（１１）
ここで、Ｗは静的特徴量系列を静的・動的特徴量系列に拡張する変換行列である。
【０１２５】
ＧＭＭの学習は、変換パラメータである（αｉ、μｉ（Ｘ）、μｉ（Ｙ）、Σｉ（Ｘ，Ｘ）、Σｉ（Ｙ，Ｘ））を推定することにより行われる。ＸtおよびＹtの結合特徴量ベクトルｚを下式（１２）と定義する。
ｚ＝[ＸtT，ＹtT]T                                ・・・（１２）
これにより、ｚの確率分布ｐ（ｚ）はＧＭＭにより、下式（１３）と表される。
【０１２６】
【数７】
2008058696.tif 000009
【０１２７】
上式（１３）において、ｚのｉ番目の分布での共分散行列Σｉ（ｚ）および平均ベクトルμｉ（ｚ）はそれぞれ下式（１４）及び（１５）と表される。
【０１２８】
【数８】
2008058696.tif 000010
【０１２９】
ここでは、変換パラメータ（αｉ、μｉ（Ｘ）、μｉ（Ｙ）、Σｉ（Ｘ，Ｘ）、Σｉ（Ｙ，Ｘ））の推定は、公知のＥＭアルゴリズムを用いて行う。
ここで、上式（２）の特徴量Ｘtを、１人の元話者の音声データから抽出された特徴量とする。更に、上式（３）の特徴量Ｙtを、Ｍ人の目標話者の音声データから抽出された特徴量とする。そして、これら特徴量Ｘt及びＹtを用いてＥＭアルゴリズムによる推定を行う。そして、推定により決定された変換パラメータ値を有する、Ｍ人の目標話者に共通の１つのＧＭＭが、適応学習用の初期声質変換モデル（以下、ＧＭＭλ0とも称す）となる。
【０１３０】
なお、上記したＥＭアルゴリズムを用いたＧＭＭの学習（パラメータ推定）による声質変換モデルの生成処理は、通常学習モードによる声質変換モデルの生成処理と同様となる。
つまり、Ｎ対１声質変換モデルであれば、上記ＧＭＭの学習において、Ｎ人の元話者と１人の目標話者とのパラレル音声データセットからそれぞれ抽出される特徴量を学習データとする。また、Ｎ対Ｍ声質変換モデルであれば、Ｎ人の元話者とＭ人の目標話者とのパラレル音声データセットからそれぞれ抽出される特徴量を学習データとする。また、Ｎ対１中間声質変換モデルであれば、Ｎ人の元話者と１人の中間話者とのパラレル音声データセットからそれぞれ抽出される特徴量を学習データとする。
【０１３１】
一方、声質変換モデル生成部１２は、上記のようにして生成されたＭ人の目標話者に共通の１つの声質変換モデルを初期声質変換モデル（ＧＭＭλ0）として取得すると、次に、特徴量抽出部１２ａにおいて、上記取得した１人の元話者及びＭ人の目標話者のパラレル音声データセットの各音声データから特徴量を抽出する（ステップＳ３０２）。ここでは、ケプストラム分析を用いて、元話者の音声データ及び目標話者の音声データからそれぞれ２０次元のケプストラム係数を抽出する。
【０１３２】
そして、上記取得した初期声質変換モデル（ＧＭＭλ0）に対して、上記抽出された各目標話者の音声データの特徴量を学習データとして学習を行い、初期声質変換モデル（ＧＭＭλ0）の出力平均ベクトルμＹtのみを更新する。これにより、各目標話者に依存した声質変換モデルである特定話者モデル（以下、ＧＭＭλsとも称す）を生成する（ステップＳ３２４）。
【０１３３】
ここで、適応学習部１２ｄにおいて、適応学習に用いる所定の適応手法として、固有声技術を用いることとする。
以下、固有声技術を用いた、声質変換手法について説明する。
固有声技術を使用した適応学習で生成される１対Ｍ声質変換モデル（以下、ＥＶ−ＧＭＭλEVとも称す）は、上式（１５）における出力平均ベクトルμi(Ｙ)を、下式（１６）としたものとなる。
μi(Ｙ)＝Ｂiｗ＋ｂi(0)                      ・・・（１６）
ここで、ｂi0及びＢi＝[ｂi(1)，・・・，ｂi(J)]はｉ番目の分布に対するバイアスベクトル、及びＪ個の代表ベクトルｂi(j)からなる行列を表す。出力話者（目標話者）の平均ベクトルは、Ｂiで張られる部分空間上でＪ次元の重みベクトルｗ＝[ｗ(1)，・・・，ｗ(J)]Tにより制御される。即ち、ＥＶ−ＧＭＭλEVは、各出力話者（目標話者）に依存するフリーパラメータｗと、全出力話者に対して共通のパラメータ（αｉ、μｉ（Ｘ）、ｂi0、Ｂi、Σｉ（Ｘ，Ｙ））とを持つことになる。
【０１３４】
適応学習部１２ｄは、Ｍ人の目標話者の各特定話者モデル（ＧＭＭλs）が生成されると、その出力平均ベクトルμi(Ｙ)(s)を接続することで、各目標話者に対して２ＤＭ次元の超ベクトルＳＶs（下式（１７））を構成する。
ＳＶs＝[μ1(Ｙ)(s)T，・・・，μs(Ｙ)(s)T]T・・・（１７）
そして、Ｍ人の目標話者の各超ベクトルに対して主成分分析を行うことで、バイアスベクトルｂi0及び固有ベクトルによる行列Ｂiを決定する。これにより、ＳＶsは、下式（１８）と表される。
【０１３５】
【数９】
2008058696.tif 000011
【０１３６】
ここで、Ｓは目標話者数（ここでは目標話者数Ｍ）であり、ｗsはｓ番目の目標話者に対するＪ（＜Ｓ≪２ＤＭ）個の主成分である。以上の、ｂi0、Ｂiを、ＧＭＭλ0に適応して（ステップＳ３２６）、ＥＶ−ＧＭＭλEVを得る（ステップＳ３１０の「Ｙｅｓ」の分岐）。
【０１３７】
なお、設定情報で繰り返し学習モードが設定されている場合は（ステップＳ３１２の「Ｙｅｓ」の分岐）、評価用の音声データと、適応学習によって得られたＥＶ−ＧＭＭλEVとを用いてケプストラム歪を算出する。そして、この算出値と予め所定条件として設定されている閾値とを比較する（ステップＳ３１４）。ここでは、前記算出したケプストラム歪が前記閾値以下であれば条件を満足したとして、上記生成したＥＶ−ＧＭＭλEVを、最終的な１対Ｍ声質変換モデルとする（ステップＳ３１６の「Ｙｅｓ」の分岐）。
【０１３８】
一方、条件を満足していない場合（ステップＳ３１６の「Ｎｏ」の分岐）は、生成したＥＶ−ＧＭＭλEVを、現在の初期声質変換モデル（ＧＭＭλ0）と置換して、これを新たな初期声質変換モデルとして、上記取得した目標話者の音声データセットを用いて上記特定話者モデルを生成すると共に、固有声技術を用いた適応学習により、ＥＶ−ＧＭＭλEVを生成する。このとき、特定話者モデルの学習においては、既に１回目の学習時に抽出された特徴量を用いる。つまり、所定条件を満足するまで、生成されるＥＶ−ＧＭＭλEVを初期声質変換モデルと置換しながら繰り返し適応学習によるＥＶ−ＧＭＭλEVの生成処理を行う。
【０１３９】
上記所定条件を満足する１対Ｍ声質変換モデルは、特定話者（１人の元話者）の音声を、不特定話者（Ｍ人の目標話者のいずれか）の音声に変換する適切な重みベクトルが設定された１対Ｍ声質変換モデルとなる。また、この１対Ｍ声質変換モデルは、全出力話者（Ｍ人の目標話者）において、入力側の確率密度分布が共通であるという制約により、各分布がモデル化する音韻空間の統一化が図られる。これにより、音韻性と話者性とが分離された超ベクトル空間が構成される。
【０１４０】
そして、このようにして生成された１対Ｍ声質変換モデルは、声質変換モデル記憶部１３に記憶される（ステップＳ１１０）。
なお、Ｎ対１声質変換モデルを適応学習によって生成する場合は、上記したＥＭアルゴリズムを用いたＧＭＭの学習において、上式（１）の特徴量Ｘtを、事前学習用のＮ人の元話者及び１人の目標話者のパラレル音声データセットにおけるＮ人の元話者の音声データから抽出される静的・動的特徴量とし、上式（２）の特徴量Ｙtを、前記パラレル音声データセットにおける１人の目標話者の音声データから抽出される静的・動的特徴量とする。そして、これら特徴量を学習データとした学習によって生成されたＧＭＭを、初期声質変換モデル（ＧＭＭλ0）とする。
【０１４１】
また、固有声技術による適応学習で生成されるＮ対１声質変換モデル（ＥＶ−ＧＭＭλEV）は、上式（１５）における入力平均ベクトルμiＸを、下式（１９）としたものとなる。
μi(Ｘ)＝Ｄiｗ＋ｄi0                            ・・・（１９）
ここで、ｄi0及びＤi＝[ｄi(1)，・・・，ｄi(K)]はｉ番目の分布に対するバイアスベクトル、及びＫ個の代表ベクトルｄi(K)からなる行列を表す。入力話者（元話者）の平均ベクトルは、Ｄiで張られる部分空間上でＫ次元の重みベクトルｗ＝[ｗ(1)，・・・，ｗ(K)]Tにより制御される。即ち、ＥＶ−ＧＭＭλEVは、各入力話者（元話者）に依存するフリーパラメータｗと、全入力話者に対して共通のパラメータ（αｉ、μｉ（Ｙ）、ｄi0、Ｄi、Σｉ（Ｘ，Ｙ））とを持つことになる。
【０１４２】
そして、Ｎ人の元話者の音声データの特徴量Ｘtを用いた学習を行い、入力平均ベクトルμ(Ｘ)のみを更新する。これにより、各元話者に依存した声質変換モデルである特定話者モデル（以下、ＧＭＭλvともいう）を生成する（ステップＳ３０６）。
適応学習部１２ｄは、Ｎ人の元話者の各特定話者モデル（ＧＭＭλv）が生成されると、その入力平均ベクトルμi(Ｘ)(v)を接続することで、各元話者に対して２ＤＭ次元の超ベクトルＳＶv（下式（２０））を構成する。
ＳＶv＝[μ1(Ｙ)(v)T，・・・，μv(Ｙ)(v)T]T・・・（２０）
そして、Ｎ人の元話者の各超ベクトルに対して主成分分析を行うことで、バイアスベクトルｄi0及び固有ベクトルによる行列Ｄiを決定する。これにより、ＳＶvは、下式（２１）と表される。
【０１４３】
【数１０】
2008058696.tif 000012
【０１４４】
ここで、Ｖは元話者数（ここでは元話者数Ｎ）であり、ｗvはv番目の元話者に対するＫ（＜Ｖ≪２ＤＭ）個の主成分である。以上の、ｄi0、Ｄiを、ＧＭＭλ0に適応して（ステップＳ３２６）、Ｎ対１声質変換モデル（ＥＶ−ＧＭＭλEV）を得る（ステップＳ３１０の「Ｙｅｓ」の分岐）。このＮ対１声質変換モデルは、全入力話者（Ｎ人の元話者）において、出力側の確率密度分布が共通であるという制約により、各分布がモデル化する音韻空間の統一化が図られる。これにより、音韻性と話者性とが分離された超ベクトル空間が構成される。
【０１４５】
なお、Ｎ対１中間声質変換モデルの生成処理については、１人の目標話者の音声データの代わりに１人の中間話者の音声データを用いるだけで、上記Ｎ対１声質変換モデルと同様となる。
また、Ｎ対Ｍ声質変換モデルついては、上記１対Ｍ声質変換モデルと、Ｎ対１声質変換モデルとを合わせたものとなる。つまり、Ｎ対Ｍ声質変換モデルは、１つのＮ対１声質変換モデルと、１つの１対Ｍ声質変換モデルとの２つのモデルで構成される。このとき、Ｎ対１の１人の目標話者と、１対Ｍの１人の元話者とを共通の話者とする。なお、Ｎ対Ｍ声質変換モデルは、Ｎ人の元話者及びＭ人の目標話者に共通の１つのＮ対Ｍ声質変換モデルとして生成することも可能である。
【０１４６】
以上、本実施の形態の声質変換モデル生成装置１によれば、Ｎ人の元話者及びＭ人の目標話者の少なくとも一方の音声データを用いて、Ｎ人の元話者のいずれかの音声を１人の目標話者の音声に変換するＮ対１声質変換モデル、１人の元話者の音声をＭ人の目標話者のいずれかの音声に変換する１対Ｍ声質変換モデル、Ｎ人の元話者のいずれかの音声をＭ人の目標話者のいずれかの音声に変換するＮ対Ｍ声質変換モデルを生成することが可能である。また、Ｎ人の元話者のいずれかの音声を１人の中間話者の音声に変換すると共に、１人の中間話者の音声をＭ人の目標話者のいずれかの音声に変換するＮ対Ｍ中間声質変換モデルを生成することが可能である。
【０１４７】
これにより、Ｎ対１声質変換モデルであれば、当該Ｎ対１声質変換モデルを所定の適応手法を用いて任意（新規）の元話者の音声に適応させることで、この任意の元話者の音声を１人の目標話者の音声に変換することができる。また、１対Ｍ声質変換モデルであれば、当該１対Ｍ声質変換モデルを所定の適応手法を用いて任意の目標話者の音声に適応させることで、１人の元話者の音声を前記任意の目標話者の音声に変換することができる。また、Ｎ対Ｍ声質変換モデルであれば、当該Ｎ対Ｍ声質変換モデルを、任意の元話者及び任意の目標話者の音声に適応することで、任意の元話者の音声を、任意の目標話者の音声に変換することができる。
【０１４８】
また、任意話者の音声への適応は、所定の適応手法を用いて、当該任意の話者の少数の音声データによって行うことが可能である。特に、固有声技術を用いて声質変換モデルを生成することによって、話者間変動を考慮して部分空間を張ることで、少量のパラメータによる話者性制御が可能となり、より簡易に声質変換モデルを任意話者の音声に適応させることが可能である。
【０１４９】
上記第１の実施の形態において、声質変換モデル生成部１２は、請求項１、２及び３のいずれか１項に記載の声質変換モデル生成手段に対応する。
また、上記第１の実施の形態において、ステップＳ１０４〜Ｓ１１２，Ｓ１１６，Ｓ１１２は、請求項１３又は２２に記載の声質変換モデル生成ステップに対応する。
【０１５０】
〔第２の実施の形態〕
次に、本発明の第２の実施の形態を図面に基づき説明する。図６〜図９は、本発明に係る声質変換システム、声質変換プログラム及び声質変換方法の第２の実施の形態を示す図である。
まず、本発明に係る声質変換システムの構成を図６に基づき説明する。図６は、本発明の第２の実施の形態に係る声質変換システム２の構成を示すブロック図である。
【０１５１】
声質変換システム２は、図６に示すように、声質変換モデルを記憶する声質変換モデル記憶部２０と、目標話者の音声データを取得する目標話者音声データ取得部２１と、元話者の音声データを取得する元話者音声データ取得部２２と、声質変換モデルを元話者及び目標話者の少なくとも一方の音声に適応させる声質変換モデル適応部２３と、適応後の声質変換モデルを用いて、元話者の音声を目標話者の音声に変換する声質変換部２４と、話者性制御パラメータ値を指定する話者性制御パラメータ指定部２５ととを含んだ構成となっている。そして、元話者の音声データ及び目標話者の音声データを用いて声質変換モデルを適応させて声質変換を行う通常モードと、目標話者側のモデル部のパラメータ（話者性制御パラメータ）の値を指定して、当該指定値に基づき声質変換モデルを適応させて声質変換を行うパラメータ制御モードとの２つのモードを有している。
【０１５２】
声質変換モデル記憶部２０は、上記第１の実施の形態における声質変換モデル生成装置１で生成されたＮ対１、１対Ｍ及びＮ対Ｍ声質変換モデル並びにＮ対Ｍ中間声質変換モデルのうち少なくとも１種類のモデルを記憶するようになっている。なお、声質変換モデルはこれら４種類のうち少なくとも１種類を１つずつ記憶しても良いし、１つずつに限らず、モデルの生成条件に応じて条件毎に複数ずつ記憶しても良い。
【０１５３】
目標話者音声データ取得部２１は、声質変換モデルの適応に用いる目標話者の音声データを取得する機能を有している。具体的に、目標話者の音声をマイクを介して入力し、当該入力音声信号に対して信号処理を行って音声データを生成する機能を有している。他に、外部装置等からネットワーク等を介して目標話者の適応用の音声データを取得する機能も有している。
【０１５４】
元話者音声データ取得部２２は、声質変換モデルの適応に用いる元話者の声データと、元話者の声質変換対象の音声データと取得する機能を有している。具体的に、元話者の音声をマイクを介して入力し、当該入力音声信号に対して信号処理を行って、元話者の適応用又は元話者の声質変換用の音声データを生成する機能を有している。他に、外部装置等からネットワーク等を介して元話者の適応用の音声データ及び元話者の声質変換用の音声データを取得する機能も有している。
【０１５５】
声質変換モデル適応部２３は、声質変換に使用する声質変換モデルを声質変換モデル記憶部２０から取得し、当該取得した声質変換モデルの構成に応じて、適応用の元話者の音声データ及び適応用の目標話者の音声データ、並びに指定された話者性制御パラメータ値の少なくとも１つに基づき、所定の適応手法を用いて、前記取得した声質変換モデルを元話者の音声及び目標話者の音声、並びに話者性制御パラメータ値の表す音声の少なくとも１つの音声に適応させて、適応後声質変換モデルを生成する機能を有している。
【０１５６】
声質変換部２４は、元話者音声データ取得部２２で取得した元話者の声質変換用の音声データと、声質変換モデル適応部２３で生成された適応後声質変換モデルとを用いて、元話者の声質の変換対象の音声を、目標話者の声質の音声に変換すると共に、当該変換後の音声（以下、変換音声と称す）を、不図示のアンプ及びスピーカを介して出力する機能を有している。
【０１５７】
話者性制御パラメータ指定部２５は、パラメータ制御モードのときに動作し、声質変換モデル記憶部２０から取得した、声質変換に用いる１対Ｍ又はＮ対Ｍ声質変換モデルの目標話者側のモデル部を構成する話者性制御パラメータ（重みベクトル）に対して任意の値（話者性制御パラメータ値）を指定する機能を有している。具体的に、不図示の操作部を介してユーザから入力された値を、話者性制御パラメータ値として指定することが可能である。
【０１５８】
なお、本実施形態において、声質変換システム２は、図示しないプロセッサと、ＲＡＭ（Random Access Memory）と、専用のプログラムの記憶されたＲＯＭ（Read Only Memory）と、を備えており、プロセッサにより専用のプログラムを実行することにより上記各部の機能を果たす。また、上記各部は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすものが混在している。
【０１５９】
更に、図７に基づき、声質変換モデル適応部２３の詳細な構成を説明する。ここで、図７は、声質変換モデル適応部２３の詳細構成を示すブロック図である。
声質変換モデル適応部２３は、図７に示すように、モデル取得部２３ａと、適応対象抽出部２３ｂと、特徴量抽出部２３ｃと、適応部２３ｄとを含んだ構成となっている。
モデル取得部２３ａは、声質変換の開始指示情報に含まれる、使用する声質変換モデルの情報に基づき、声質変換モデル記憶部２０から、該当する声質変換モデルを読み出して、適応対象抽出部２３ｂに出力する機能を有している。
【０１６０】
適応対象抽出部２３ｂは、モデル取得部２３ａから入力された声質変換モデルの構成に応じて、当該モデルのうち、適応対象のパラメータを有するモデル部を抽出する機能を有している。具体的に、声質変換モデルは、例えば、元話者側で２０次元、目標話者側で２０次元の合わせて４０次元のパラメータを有している。そして、これら４０次元のパラメータのうち、適応対象となるのは、Ｎ人の元話者あるいはＭ人の目標話者の音声データから生成されたパラメータ部となる。従って、Ｎ対１声質変換モデルであれば、Ｎ人の元話者のパラメータから構成される元話者側のモデル部が適応対象として抽出されることになる。同様に、１対Ｍ声質変換モデルであれば、Ｍ人の目標話者側のモデルが、Ｎ対Ｍ中間声質変換モデルであれば、Ｎ対１中間音声モデルにおけるＮ人の元話者側のモデルが、それぞれ抽出される。一方、Ｎ対Ｍ声質変換モデルであれば、元話者側及び目標話者側の両方が適応対象となるので、これらがそれぞれ抽出されることになる。このようにして、抽出されたモデル部は、適応部２３ｄに出力される。
【０１６１】
特徴量抽出部２３ｃは、上記第１の実施の形態の声質変換モデル生成装置１の特徴量抽出部１２ａと同様に、元話者音声データ取得部２２及び目標話者音声データ取得部２１から取得した元話者音声データ及び目標話者音声データから、声質変換に使用する声質変換モデルのパラメータ特性に応じて、ケプストラム分析や線形予測分析などの分析処理によって特徴量（特徴パラメータ）を抽出する機能を有している。なお、抽出した元話者の特徴量（以下、元話者特徴量と称す）及び目標話者の特徴量（以下、目標話者特徴量と称す）は、適応部２３ｄに出力される。
【０１６２】
適応部２３ｄは、適応対象抽出部２３ｂから入力された元話者側のモデル部及び目標話者側のモデル部に対して、特徴量抽出部２３ｃから入力された元話者特徴量及び目標話者特徴量に基づき、所定の適応手法を用いて前記モデル部を構成するパラメータを推定し、当該推定したパラメータ値に基づき、適応後声質変換モデルを生成する機能を有している。
【０１６３】
また、話者性制御パラメータ指定部２５でパラメータ値が指定されている場合に、当該指定されたパラメータ値を用いて、目標話者側のパラメータを指定されたパラメータ値に適応させ適応後声質変換モデルを生成する機能も有している。なお、生成した適応後声質変換モデルは、声質変換部２４に出力される。
更に、図８に基づき、声質変換システム２における通常モード時の声質変換処理の流れを説明する。ここで、図８は、声質変換システム２における通常モード時の声質変換処理を示すフローチャートである。
【０１６４】
通常モード時の声質変換処理は、図８に示すように、まずステップＳ４００に移行し、声質変換モデル適応部２３において、不図示の操作部を介したユーザからの声質変換開始指示（開始指示情報含む）があったか否かを判定し、あったと判定された場合(Yes)は、ステップＳ４０２に移行し、そうでない場合(No)は、指示があるまで判定処理を繰り返す。
【０１６５】
ステップＳ４０２に移行した場合は、モデル取得部２３ａにおいて、声質変換モデル記憶部２０から、開始指示情報で指定された構成の声質変換モデルを取得し、当該取得した声質変換モデルを適応対象抽出部２３ｂに出力してステップＳ４０４に移行する。
ステップＳ４０４では、声質変換モデル適応部２３において、開始指示情報で指定された声質変換モデルの構成は、Ｎ対１の構成又は中間話者を適応した構成か否かを判定し、これらのいずれかの構成であると判定された場合(Yes)は、ステップＳ４０６に移行し、そうでない場合(No)は、ステップＳ４２６に移行する。
【０１６６】
ステップＳ４０６に移行した場合は、適応対象抽出部２３ｂにおいて、ステップＳ４０２で取得した、Ｎ対１声質変換モデル又はＮ対１中間声質変換モデルから、元話者側のモデル部を抽出し、当該抽出した元話者側のモデル部を適応部２３ｄに出力してステップＳ４０８に移行する。
ステップＳ４０８では、声質変換モデル適応部２３において、ユーザに対して適応用の元話者音声データの取得要請を行いステップＳ４１０に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
【０１６７】
ステップＳ４１０では、元話者音声データ取得部２２において、適応用の元話者の音声データを取得（または入力音声から生成）したか否かを判定し、取得（生成）したと判定された場合（Yes)は、当該取得（生成）した適応用の元話者音声データを特徴量抽出部２３ｃに出力してステップＳ４１２に移行する。
ステップＳ４１２では、特徴量抽出部２３ｃにおいて、元話者音声データ取得部２２から入力された適応用の元話者音声データから特徴量を抽出し、当該抽出した元話者特徴量を適応部２３ｄに出力してステップＳ４１４に移行する。
【０１６８】
ステップＳ４１４では、適応部２３ｄにおいて、特徴量抽出部２３ｃから入力された元話者特徴量に基づき、所定の適応手法を用いて元話者側のモデル部のパラメータ値を推定してステップＳ４１６に移行する。
ステップＳ４１６では、適応部２３ｄにおいて、ステップＳ４１４で推定したパラメータ値に基づき、適応後元話者音声モデルを生成し、当該生成した適応後声質変換モデルを声質変換部２４に出力してステップＳ４１８に移行する。
【０１６９】
ステップＳ４１８では、声質変換部２４において、ユーザに対して声質変換用の元話者音声データの取得要請を行いステップＳ４２０に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
ステップＳ４２０では、元話者音声データ取得部２２において、声質変換用の元話者の音声データを取得（または入力音声から生成）したか否かを判定し、取得（生成）したと判定された場合(Yes)は、当該取得（生成）した声質変換用の元話者音声データを声質変換部２４に出力してステップＳ４２２に移行し、そうでない場合(No)は、取得（生成）するまで判定処理を繰り返す（または生成処理を行う）。
【０１７０】
ステップＳ４２２に移行した場合は、声質変換部２４において、元話者音声データ取得部２２から入力された声質変換対象の元話者の声質の音声データを、目標話者の声質の音声データに変換してステップＳ４２４に移行する。
ステップＳ４２４では、声質変換部２４において、声質変換後の音声データに基づき、変換音声を出力して処理を終了する。
【０１７１】
一方、ステップＳ４０４において、声質変換モデルの構成がＮ対１の構成又は中間話者を適用した構成ではなく、ステップＳ４２６に移行した場合は、声質変換モデル適応部２３において、開始指示情報で指定された声質変換モデルの構成は、１対Ｍの構成か否かを判定し、１対Ｍの構成であると判定された場合(Yes)は、ステップＳ４２８に移行し、そうでない場合(No)は、ステップＳ４３８に移行する。
【０１７２】
ステップＳ４２８に移行した場合は、適応対象抽出部２３ｂにおいて、ステップＳ４０２で取得した、１対Ｍ声質変換モデルから、目標話者側のモデル部を抽出し、当該抽出した目標話者側のモデル部を適応部２３ｄに出力してステップＳ４３０に移行する。
ステップＳ４３０では、声質変換モデル適応部２３において、ユーザに対して適応用の目標話者音声データの取得要請を行いステップＳ４３２に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
【０１７３】
ステップＳ４３２では、目標話者音声データ取得部２１において、適応用の目標話者の音声データを取得（または入力音声から生成）したか否かを判定し、取得（生成）したと判定された場合（Yes)は、当該取得（生成）した適応用の目標話者音声データを特徴量抽出部２３ｃに出力してステップＳ４３４に移行する。
ステップＳ４３４では、特徴量抽出部２３ｃにおいて、目標話者音声データ取得部２１から入力された適応用の目標話者音声データから特徴量を抽出し、当該抽出した目標話者特徴量を適応部２３ｄに出力してステップＳ４３６に移行する。
【０１７４】
ステップＳ４３６では、適応部２３ｄにおいて、特徴量抽出部２３ｃから入力された目標話者特徴量に基づき、所定の適応手法を用いて目標話者側のモデル部のパラメータ値を推定してステップＳ４１６に移行する。
また、ステップＳ４２６において、声質変換モデルの構成が１対Ｍではなく、ステップＳ４３８に移行した場合は、適応対象抽出部２３ｂにおいて、ステップＳ４０２で取得した、Ｎ対Ｍ声質変換モデルから、元話者側のモデル部及び目標話者側のモデル部の両方を抽出し、当該抽出した元話者側のモデル部及び目標話者側のモデル部を適応部２３ｄに出力してステップＳ４４０に移行する。
【０１７５】
ステップＳ４４０では、声質変換モデル適応部２３において、ユーザに対して適応用の元話者音声データ及び目標話者音声データの取得要請を行いステップＳ４４２に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
ステップＳ４４２では、元話者音声データ取得部２２及び目標話者音声データ取得部２１において、適応用の元話者及び目標話者の音声データを取得（または入力音声から生成）したか否かをそれぞれ判定し、取得（生成）したと判定された場合（Yes)は、当該取得（生成）した適応用の、元話者音声データ及び目標話者音声データを特徴量抽出部２３ｃに出力してステップＳ４４４に移行する。
【０１７６】
ステップＳ４４４では、特徴量抽出部２３ｃにおいて、元話者音声データ取得部２２から入力された適応用の元話者音声データ及び目標話者音声データ取得部２１から入力された適応用の目標話者音声データから特徴量を抽出し、当該抽出した元話者特徴量及び目標話者特徴量を適応部２３ｄに出力してステップＳ４４６に移行する。
ステップＳ４４６では、適応部２３ｄにおいて、特徴量抽出部２３ｃから入力された元話者特徴量に基づき、所定の適応手法を用いて元話者側のモデル部のパラメータ値を推定すると共に、特徴量抽出部２３ｃから入力された目標話者特徴量に基づき、所定の適応手法を用いて目標話者側のモデル部のパラメータ値をそれぞれ推定してステップＳ４１６に移行する。
【０１７７】
更に、図９に基づき、声質変換システム２におけるパラメータ制御モード時の声質変換処理の流れを説明する。ここで、図９は、声質変換システム２におけるパラメータ制御モード時の声質変換処理を示すフローチャートである。
パラメータ制御モード時の声質変換処理は、図９に示すように、まずステップＳ５００に移行し、声質変換モデル適応部２３において、不図示の操作部を介したユーザからの声質変換開始指示があったか否かを判定し、あったと判定された場合(Yes)は、ステップＳ５０２に移行し、そうでない場合(No)は、指示があるまで判定処理を繰り返す。
【０１７８】
ステップＳ５０２に移行した場合は、モデル取得部２３ａにおいて、開始指示情報で指定された構成の声質変換モデル（１対Ｍ又はＮ対Ｍ声質変換モデルのいずれか）を、声質変換モデル記憶部２０から取得して、ステップＳ５０４に移行する。
ステップＳ５０４では、声質変換モデル適応部２３において、開始指示情報で指定された声質変換モデルの構成は、１対Ｍの構成か否かを判定し、１対Ｍであると判定された場合(Yes)は、ステップＳ５０６に移行し、そうでない場合(No)は、ステップＳ５２２に移行する。
【０１７９】
ステップＳ５０６に移行した場合は、適応対象抽出部２３ｂにおいて、ステップＳ５０２で取得した、１対Ｍ声質変換モデルから、目標話者側のモデル部を抽出し、当該抽出した目標話者側のモデル部を適応部２３ｄに出力してステップＳ５０８に移行する。
ステップＳ５０８では、声質変換モデル適応部２３において、ユーザに対して適応用の目標話者側のモデルの話者性制御パラメータ値の指定要請を行いステップＳ５１０に移行する。ここで、指定要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
【０１８０】
ステップＳ５１０では、話者性制御パラメータ指定部２５において、不図示の操作部などを介して、話者性制御パラメータが指定されたか否かを判定し、指定されたと判定された場合(Yes)は、指定された制御パラメータ値を適応部２３ｄに出力してステップＳ５１２に移行し、そうでない場合(No)は、指定されるまで判定処理を繰り返す。
ステップＳ５１２に移行した場合は、適応部２３ｄにおいて、話者性制御パラメータ指定部２５から入力された話者性制御パラメータ値に基づき、当該パラメータ値の表現する目標話者の音声に適応した適応後声質変換モデルを生成し、当該生成した適応後声質変換モデルを声質変換部２４に出力してステップＳ５１４に移行する。
【０１８１】
ステップＳ５１４では、声質変換部２４において、ユーザに対して声質変換用の元話者音声データの取得要請を行いステップＳ５１６に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
ステップＳ５１６では、元話者音声データ取得部２２において、声質変換用の元話者の音声データを取得（または入力音声から生成）したか否かを判定し、取得（生成）したと判定された場合(Yes)は、当該取得（生成）した声質変換用の元話者音声データを声質変換部２４に出力してステップＳ５１８に移行し、そうでない場合(No)は、取得（生成）するまで判定処理を繰り返す（または生成処理を行う）。
【０１８２】
ステップＳ５１８に移行した場合は、声質変換部２４において、元話者音声データ取得部２２から入力された声質変換対象の元話者の声質の音声データを、目標話者の声質の音声データに変換してステップＳ５２０に移行する。
ステップＳ５２０では、声質変換部２４において、声質変換後の音声データに基づき、変換音声を出力して処理を終了する。
【０１８３】
一方、ステップＳ５０４において、取得した声質変換モデルの構成が１対Ｍではなく、ステップＳ５２２に移行した場合は、適応対象抽出部２３ｂにおいて、ステップＳ５０２で取得した、Ｎ対Ｍ声質変換モデルから、元話者側のモデル部及び目標話者側のモデル部の両方を抽出し、当該抽出した元話者側のモデル部及び目標話者側のモデル部を適応部２３ｄに出力してステップＳ５２４に移行する。
【０１８４】
ステップＳ５２４では、声質変換モデル適応部２３において、ユーザに対して適応用の元話者音声データの取得要請を行いステップＳ５２６に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
ステップＳ５２６では、元話者音声データ取得部２２において、適応用の元話者の音声データを取得（または入力音声から生成）したか否かを判定し、取得（生成）したと判定された場合（Yes)は、当該取得（生成）した適応用の元話者音声データを特徴量抽出部２３ｃに出力してステップＳ５２８に移行する。
【０１８５】
ステップＳ５２８では、特徴量抽出部２３ｃにおいて、元話者音声データ取得部２２から入力された適応用の元話者音声データから特徴量を抽出し、当該抽出した元話者特徴量を適応部２３ｄに出力してステップＳ５３０に移行する。
ステップＳ５３０では、声質変換モデル適応部２３において、ユーザに対して適応用の目標話者側のモデルの話者性制御パラメータ値の指定要請を行いステップＳ５３２に移行する。ここで、指定要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
【０１８６】
ステップＳ５３２では、話者性制御パラメータ指定部２５において、不図示の操作部などを介して、話者性制御パラメータが指定されたか否かを判定し、指定されたと判定された場合(Yes)は、指定された制御パラメータ値を適応部２３ｄに出力してステップＳ５３４に移行し、そうでない場合(No)は、指定されるまで判定処理を繰り返す。
ステップＳ５３４では、適応部２３ｄにおいて、特徴量抽出部２３ｃから入力された元話者特徴量に基づき、所定の適応手法を用いて元話者側のモデル部のパラメータ値を推定してステップＳ５３６に移行する。
ステップＳ５３６では、適応部２３ｄにおいて、ステップＳ５３４で推定されたパラメータ値と、ステップＳ５３２で指定された話者性制御パラメータ値とに基づき、適応後声質変換モデルを生成し、当該生成した適応後声質変換モデルを声質変換部２４に出力してステップＳ５１４に移行する。
【０１８７】
次に、本実施の形態の動作を説明する。
ここで、声質変換モデル記憶部２０に、上記第１の実施の形態における声質変換モデル生成装置１において、固有声技術を用いて生成された１対Ｍ声質変換モデル（ＥＶ−ＧＭＭλEV）が記憶されていることとする。そして、この１対Ｍ声質変換モデルを有する声質変換システム２の具体的な動作を説明する。
【０１８８】
最初に、通常モード時の声質変換処理の動作について説明する。
声質変換システム２は、まず、ユーザによる不図示の操作部の操作によって、声質変換開始指示（開始指示情報含む）が入力されると（ステップＳ４００の「Ｙｅｓ」の分岐）、モデル取得部２３ａにおいて、開始指示情報に基づき、声質変換モデル記憶部２０から、前記開始指示情報で指定された声質変換モデルを取得する（ステップＳ４０２）。ここでは、固有声技術を用いて生成された１対Ｍ声質変換モデルが指定されたとする（ステップＳ４２６の「Ｙｅｓ」の分岐）。
【０１８９】
１対Ｍ声質変換モデルが取得されると、声質変換モデル適応部２３は、適応対象抽出部２３ｂにおいて、目標話者側のモデル部を抽出する（ステップＳ４２８）。目標話者側のモデル部には、Ｍ人の目標話者の超ベクトルに基づき決定されたｂi0及びＢiを有する出力平均ベクトルμi(Ｙ)が含まれる。
目標話者側のモデル部が抽出されると（あるいは抽出処理と並列に）、目標話者音声データ取得部２１において、適応用の目標話者の音声データを取得する（ステップＳ４３０）。ここで、目標話者の発話内容は、どのような内容でも良い。例えば、声質変換モデル生成時のパラレル音声データセットと異なる発話内容（非パラレル）でも良い。また、音声データは、１発話〜数発話分程度で良く、モデル生成時の発話文セット５０文などに対しては極めて少数（例えば１／１０以下）の音声データが取得できれば十分である。
【０１９０】
そして、適応用の目標話者の音声データが取得されると（ステップＳ４３２の「Ｙｅｓ」の分岐）、特徴量抽出部２３ｃにおいて、当該取得した音声データから特徴量を抽出し（ステップＳ４３４）、当該抽出した特徴量を用いて、目標話者側のモデル部における最適な重みベクトルを推定する（ステップＳ４３６）。ここで、上記取得した１対Ｍ声質変換モデルは、固有声技術を用いて生成されているので、上記抽出した特徴量を学習データとして、ＥＭアルゴリズムによる最尤推定によって簡易に重みベクトルの推定値を得ることが可能である。
【０１９１】
以下、ＥＭアルゴリズムを用いた適応処理について説明する。
固有声技術に基づく声質変換においては、重みベクトルが適切に設定されたＥＶ−ＧＭＭλEVに基づいて、従来法と同様にＥＭアルゴリズムを用いた最尤変換を行う。
以下、重みベクトルの決定法について述べる。
教師なし変換モデル学習において、所望の出力話者（目標話者）への声質変換モデルの適応は、ＥＶ−ＧＭＭλEVの重みベクトルｗを、目標話者の音声データのみから下式（２２）に基づき最尤推定する事で行われる。
【０１９２】
【数１１】
2008058696.tif 000013
【０１９３】
上式（２２）において、Ｙt（tar） は出力話者（目標話者）の特徴量ベクトル系列を表す。そして、推定される重みベクトルは下式（２３）〜（２５）にて表される。
【０１９４】
【数１２】
2008058696.tif 000014
【０１９５】
適応部２３ｄにおいて、ＥＭアルゴリズムを用いた最尤推定によって、出力平均ベクトルμi(Ｙ)に対する、上式（２３）〜（２５）で表される重みベクトルが推定されると、上記取得した１対Ｍ声質変換モデル（出力平均ベクトルμi(Ｙ)）の重みベクトルを、前記推定された重みベクトルに変換して、適応後声質変換モデルを生成する（ステップＳ４１６）。
【０１９６】
適応後声質変換モデルが生成されると、次に、元話者音声データ取得部２２において、変換候補の任意の元話者の音声データの取得要請を行い（ステップＳ４１８）、元話者の音声データを取得する（ステップＳ４２０の「Ｙｅｓ」の分岐）。
変換候補の任意の元話者の音声データを取得すると、声質変換部２４において、上記生成した適応後声質変換モデルを用いて、元話者の声質の音声データを、上記適応させた目標話者の声質の音声データへと変換する（ステップＳ４２２）。そして、声質変換後の音声データに基づき、変換音声を不図示のアンプ及びスピーカを介して出力する（ステップＳ４２４）。
【０１９７】
また、生成された声質変換モデルに対しては、最尤線形回帰（ＭＬＬＲ）、最大事後確率推定法（ＭＡＰ）、制約付きＭＬＬＲ（ＣＭＬＬＲ）、ＭＬＬＲとＭＡＰとの組み合わせ等の公知の適応手法を用いて声質変換モデルを適応させる。
具体的に、Ｎ対１声質変換モデルの場合は、任意の元話者の音声に声質変換モデルを適応させ（ステップＳ４１４，Ｓ４１６）、適応後の声質変換モデルを用いて、前記任意の元話者の声質の音声データを、１人の目標話者の声質の音声データに変換する。
【０１９８】
また、Ｎ対Ｍ声質変換モデルの場合は、任意の元話者の音声にＮ対１声質変換モデルを適応させ、任意の目標話者の音声に１対Ｍ声質変換モデルを適応させる（ステップＳ４４６，Ｓ４１６）。そして、まず、適応後のＮ対１声質変換モデルを用いて、前記任意の元話者の声質の音声データを１人の目標話者の声質の音声データに変換する。次に、適応後の１対Ｍ声質変換モデルを用いて、前記１人の目標話者の声質に変換後の音声データを、前記任意の目標話者の声質の音声データに変換する。つまり、２段階で声質変換を行うことで、任意の元話者の音声データを、任意の目標話者の声質の音声データに変換する。
【０１９９】
なお、Ｎ対Ｍ声質変換モデルの場合は、Ｎ人の元話者及びＭ人の目標話者に共通の１つのＮ対Ｍ声質変換モデルを、任意の元話者の音声及び任意の目標話者の音声に適応させることも可能である。
また、声質変換システム２は、固有声技術を用いて生成された声質変換モデルに対して、上述したようにパラメータ制御モードを設定することが可能である。パラメータ制御モードを設定することで、１対Ｍ声質変換モデルにおける、出力平均ベクトルμi(Ｙ)の重みベクトルを話者性制御パラメータとし、当該パラメータ値をユーザの任意の値に設定して、声質変換システム２にイコライザのような機能を発揮させることが可能である。
【０２００】
具体的には、上記取得した１対Ｍ声質変換モデルから目標話者側のモデル部を抽出後、ユーザに対して、話者性制御パラメータの指定要請を行う（ステップＳ５０８）。そして、不図示の操作部を介して、ユーザが手動で話者性制御パラメータ値を入力すると、話者性制御パラメータ指定部２５において、前記入力されたパラメータ値を適応部２３ｄに出力（指定）する（ステップＳ５１０の「Ｙｅｓ」の分岐）。適応部２３ｄは、上記取得した１対Ｍ声質変換モデルにおける、出力平均ベクトルμi(Ｙ)の重みベクトルを、この指定された制御パラメータ値へと変換して適応後声質変換モデルを生成する（ステップＳ５１２）。
【０２０１】
以上、本実施の形態の声質変換システム２によれば、Ｎ人の元話者の音声データ及びＭ人の目標話者の音声データの少なくとも一方を用いて生成された、Ｎ対１、１対Ｍ、Ｎ対Ｍ声質変換モデルを、所望（任意）の元話者又は所望（任意）の目標話者の音声に適応させて声質変換に用いることが可能である。これによって、特定の元話者の任意の発声内容の音声データを、簡易に所望の目標話者の声質の音声データに変換したり、所望の元話者の任意の発声内容の音声データを、簡易に特定の目標話者又は所望の目標話者の声質の音声データに変換したりすることができる。
【０２０２】
また、固有声技術を用い、且つＮ人の元話者の音声データ及びＭ人の目標話者の音声データの少なくとも一方を用いて生成された、Ｎ対１、１対Ｍ、Ｎ対Ｍ声質変換モデルを、所望（任意）の元話者又は所望（任意）の目標話者の音声に適応させて声質変換に用いることが可能である。これによって、所望の元話者及び所望の目標話者の少なくとも一方の少数の音声データ（非パラレルでも良い）を用いて、ＥＭアルゴリズムによって、簡易に所望の話者の音声に声質変換モデルを適応させることができる。
【０２０３】
また、固有声技術を用い、且つＮ人の元話者の音声データ及びＭ人の目標話者の音声データの少なくとも一方を用いて生成された、１対Ｍ、又はＮ対Ｍ声質変換モデルの重みベクトル（話者性制御パラメータ）の値を、所定の範囲内においてユーザが任意の値に指定することが可能である。これによって、変換音声の声質を微調整したり、目標話者の音声データが得られなくとも、話者性制御パラメータ値を手動制御して、所望の声質又はそれに近い声質を持つ変換音声を得たりすることができる。また、Ｆ０等の他の音声パラメータも同時に制御するのであれば、スペクトルのみでなく、制御したい全音声パラメータの平均ベクトルでスーパーベクトル空間を構成してもよい。
【０２０４】
上記第２の実施の形態において、目標話者音声データ取得部２１は、請求項６、８、９及び１１のいずれか１項に記載の目標話者音声データ取得手段に対応し、元話者音声データ取得部２２は、請求項４、５、６、８、９及び１１のいずれか１項に記載の元話者音声データ取得手段に対応し、声質変換モデル適応部２３は、請求項４、５、８、１１及び１２のいずれか１項に記載の適応手段、又は請求項６、７、８及び１１のいずれか１項に記載の第１適応手段及び第２適応手段に対応し、声質変換部２４は、請求項４、５、６、８、９及び１１のいずれか１項に記載の声質変換手段に対応する。
また、上記第２の実施の形態において、話者性制御パラメータ指定部２５は、請求項６、７、９及び１０のいずれか１項に記載の話者性制御パラメータ値指定手段に対応する。
【０２０５】
〔実施例１〕
更に、図１０に基づき、本発明の声質変換システム２の実施例１を説明する。ここで、図１０は、本発明の手法で生成された１対Ｍ声質変換モデルに適応手法を用いた場合と、従来法で生成された声質変換モデルに適応手法を用いた場合との評価データにおける変換音声と出力話者の自然音声との間のメルケプストラム歪を示す図である。
【０２０６】
男性１名を入力話者として、本発明の１対Ｍ声質変換モデルを用いた声質変換の評価を行った。
評価を行うに際して、ＪＮＡＳデータ中の男性８０名および女性８０名の計１６０名を事前学習用出力話者とし、この１６０人に含まれない他の男性５名及び女性５名の計１０名を評価用出力話者とした。各事前学習用話者のデータは音素バランス５０３文中の５０文からなるサブセットＡ〜Ｇのいずれかであり、評価用話者のデータは５３文からなるサブセットＪである。入力話者のデータとして、サブセットＡ〜Ｇを事前学習用に、サブセットＪを評価用に用いた。
【０２０７】
評価用話者に対する声質変換モデル学習時には５３文中の１〜３２文を用い、残りの２１文を評価に用いた。従来法の声質変換モデルの学習では、入力話者とのパラレル音声データを用いて声質変換モデルの学習（すなわち教師あり学習）を行った。一方、本発明の手法である固有声技術を用いた１対Ｍ声質変換モデルの学習においては、上記ＥＶ−ＧＭＭを事前学習しておき、評価用話者のデータのみを用いて重みベクトルの推定（すなわち教師なし学習）を行った。ＥＶ−ＧＭＭにおける混合数は５１２とし、代表ベクトル数は１５９１とした。従来法の声質変換モデルにおける混合数は、各話者、各学習データ量において、評価データにおけるメルケプストラム歪が最小となるように事後的に決定した。本発明の１対Ｍ声質変換モデル（ＥＶ−ＧＭＭλEV）及び従来法の声質変換モデルともに、共分散行列および相互共分散行列は対角成分のみを用いた。分析条件は文献（T. Toda et al., Proc. ICASSP, Vol. 1, pp. 912, Philadel-phia, USA, Mar. 2005.）と同様である。
【０２０８】
ここで、図１０に示すグラフにおいて、縦軸はケプストラム歪[ｄＢ]を示し、横軸は適応に用いた学習データ数を示す。また、図１０中の点線が従来法（Conventional VC（Voice Conversion））による声質変換結果のケプストラム歪を示し、図１０中の実線が本発明手法（ＥＶＣ（Eigenvoice Conversion））による声質変換結果のケプストラム歪を示す。図１０に示すように、適応に用いる学習データが少量の際には、本発明のＥＶ−ＧＭＭλEVによる声質変換結果のケプストラム歪は従来法のそれを大きく下回っている。これは、ＥＶ−ＧＭＭλEVでは事前学習用出力話者の情報を活用する事で、より精度の高い適応後声質変換モデルが得られるためである。
【０２０９】
また、従来法では、適応に用いる学習データ量の増加に伴いケプストラム歪が大きく減少する。これは、より多くの混合分布による結合確率密度の精密なモデル化が可能となるためである。一方で、ＥＶ−ＧＭＭλEVでは、学習データを２文からさらに増加させた際に見られるケプストラム歪の減少は小さい。
これは、ＥＶ−ＧＭＭλEVのフリーパラメータである重みベクトルの次元数が一定であるためであり、逆に、２文程度の学習データがあれば重みベクトルを十分推定できる事を意味する。なお、数十文の学習データを用いる場合は、ＥＶ−ＧＭＭλEVは、従来法に変換精度の点で劣るものの、教師なし学習が可能であるという大きな利点がある。
【０２１０】
〔第３の実施の形態〕
次に、本発明の第３の実施の形態を図面に基づき説明する。図１１〜図１６は、本発明に係る声質変換クライアントサーバシステムの第３の実施の形態を示す図である。
まず、本発明に係る声質変換クライアントサーバシステムの構成を図１１に基づき説明する。図１１は、本発明の第３の実施の形態に係る声質変換クライアントサーバシステム３の概略構成を示すブロック図である。
【０２１１】
声質変換クライアントサーバシステム３は、図１１に示すように、クライアントコンピュータ３１からの取得要求に応じて声質変換モデルを送信するサーバコンピュータ３０と、サーバコンピュータ３０から受信した声質変換モデルを用いて声質変換を行うクライアントコンピュータ３１と、サーバコンピュータ３０とクライアントコンピュータ３１とを相互にデータ通信可能に接続するネットワーク３２とを含んだ構成となっている。なお、図１１においては、クライアントコンピュータ３１が３台、ネットワーク３２に接続された構成となっているが、この構成に限らず、接続されるクライアントコンピュータ３１の台数は、３台より少なくても又は３台より多くても良い。
【０２１２】
次に、図１２に基づき、サーバコンピュータ３０の詳細な構成を説明する。ここで、図１２は、サーバコンピュータ３０の詳細構成を示すブロック図である。なお、上記第２の実施の形態における声質変換システム２と同様の構成部については、同じ符号を付して説明を省略する。
サーバコンピュータ３０は、図１２に示すように、データ通信部３０ａと、声質変換モデル送信部３０ｂと、声質変換モデル記憶部２０とを含んだ構成となっている。
【０２１３】
データ通信部３０ａは、クライアントコンピュータ３１からの声質変換モデルの取得要求をネットワーク３２を介して受信したり、声質変換モデル送信部３０ｂからの命令に応じて、声質変換モデルをネットワーク３２を介して取得要求元のクライアントコンピュータ３１に送信したりする機能を提供するようになっている。
声質変換モデル送信部３０ｂは、データ通信部３０ａで受信したクライアントコンピュータ３１からの取得要求に応じて、当該取得要求の示す声質変換モデルを、声質変換モデル記憶部２０から読み出し、当該読み出した声質変換モデルを、データ通信部３０ａを介してクライアントコンピュータ３１に送信する機能を提供するようになっている。
【０２１４】
ここで、サーバコンピュータ３０は、図示しないプロセッサと、ＲＡＭ（Random Access Memory）と、専用のプログラムの記憶されたＲＯＭ（Read Only Memory）と、を備えており、プロセッサにより専用のプログラムを実行することにより上記各部の機能を果たす。また、上記各部は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすものが混在している。
【０２１５】
更に、図１３に基づき、クライアントコンピュータ３１の詳細な構成を説明する。ここで、図１３は、クライアントコンピュータ３１の詳細構成を示すブロック図である。なお、上記第２の実施の形態における声質変換システム２と同様の構成部については、同じ符号を付して説明を省略する。
クライアントコンピュータ３１は、図１３に示すように、データ通信部３１ａと、声質変換モデル受信部３１ｂと、目標話者音声データ取得部２１と、元話者音声データ取得部２２と、声質変換モデル適応部２３と、声質変換部２４と、話者性制御パラメータ指定部２５とを含んだ構成となっている。つまり、上記第２の実施の形態における声質変換システム２に、データ通信部３１ａ及び声質変換モデル受信部３１ｂを追加し、更に、声質変換モデル記憶部２０を取り除いた構成となっている。
【０２１６】
データ通信部３１ａは、声質変換モデル受信部３１ｂからの命令に応じて、サーバコンピュータ３０に、声質変換モデルの取得要求をネットワーク３２を介して送信したり、サーバコンピュータ３０からの声質変換モデルをネットワーク３２を介して受信したりする機能を提供するようになっている。
声質変換モデル送信部３０ｂは、ユーザからの不図示の操作部を介した声質変換開始指示に応じて、指定された構成の声質変換モデルの取得要求を、データ通信部３０ａを介してサーバコンピュータ３０に送信したり、データ通信部３１ａで受信したサーバコンピュータ３０からの声質変換モデルをモデル取得部２３ａに伝送したりする機能を提供するようになっている。
【０２１７】
ここで、クライアントコンピュータ３１は、上記第２の実施の形態における声質変換システム２と同様に、声質変換のモードとして、通常モード及びパラメータ制御モードを設定できる構成となっている。
また、クライアントコンピュータ３１は、図示しないプロセッサと、ＲＡＭ（Random Access Memory）と、専用のプログラムの記憶されたＲＯＭ（Read Only Memory）と、を備えており、プロセッサにより専用のプログラムを実行することにより上記各部の機能を果たす。また、上記各部は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすものが混在している。
【０２１８】
更に、図１４に基づき、サーバコンピュータ３０の動作処理の一つである声質変換モデル送信処理の流れを説明する。ここで、図１４は、サーバコンピュータ３０の声質変換モデル送信処理を示すフローチャートである。
声質変換モデル送信処理は、図１４に示すように、まずステップＳ６００に移行し、声質変換モデル送信部３０ｂにおいて、クライアントコンピュータ３１から、データ通信部３０ａを介して声質変換モデルの取得要求を受信したか否かを判定し、受信したと判定された場合(Yes)は、ステップＳ６０２に移行し、そうでない場合(No)は、受信するまで判定処理を繰り返す。
【０２１９】
ステップＳ６０２に移行した場合は、声質変換モデル送信部３０ｂにおいて、ステップＳ６００で取得した取得要求の示す構成の声質変換モデルを、声質変換モデル記憶部２０から読み出してステップＳ６０４に移行する。ここで、取得要求には、取得要求もとのクライアントコンピュータの情報（ＩＰアドレスなど）や、声質変換モデルの構成を特定する情報などが含まれている。
【０２２０】
ステップＳ６０４では、ステップＳ６０２で読み出した声質変換モデルを、データ通信部３０ａを介して、取得要求元のクライアントコンピュータ３１に送信してステップＳ６００に移行する。
更に、図１５に基づき、クライアントコンピュータ３１における通常モード時の声質変換処理の流れを説明する。ここで、図１５は、クライアントコンピュータ３１における通常モード時の声質変換処理を示すフローチャートである。
【０２２１】
通常モード時の声質変換処理は、図１５に示すように、まずステップＳ７００に移行し、声質変換モデル受信部３１ｂにおいて、不図示の操作部を介したユーザからの声質変換開始指示（開始指示情報含む）があったか否かを判定し、あったと判定された場合(Yes)は、ステップＳ７０２に移行し、そうでない場合(No)は、指示があるまで判定処理を繰り返す。
【０２２２】
ステップＳ７０２に移行した場合は、声質変換モデル受信部３１ｂにおいて、開始指示情報で指定された構成の声質変換モデルの取得要求を生成し、当該取得要求を、データ通信部３０ａを介してサーバコンピュータ３０に送信してステップＳ７０４に移行する。ここで、クライアントコンピュータ３１は、予めサーバコンピュータ３０のＩＰアドレス等の情報を有している。
【０２２３】
ステップＳ７０４では、声質変換モデル受信部３１ｂにおいて、サーバコンピュータ３０からの声質変換モデルを受信したか否かを判定し、受信したと判定された場合(Yes)は、受信した声質変換モデルをモデル取得部２３ａに伝送してステップＳ７０６に移行し、そうでない場合(No)は、受信するまで判定処理を繰り返す。
ステップＳ７０６では、声質変換モデル適応部２３において、開始指示情報で指定された声質変換モデルの構成は、Ｎ対１の構成又は中間話者を適応した構成か否かを判定し、これらのいずれかの構成であると判定された場合(Yes)は、ステップＳ７０８に移行し、そうでない場合(No)は、ステップＳ７２８に移行する。
【０２２４】
ステップＳ７０８に移行した場合は、適応対象抽出部２３ｂにおいて、ステップＳ７０４で受信した、Ｎ対１声質変換モデル又はＮ対１中間声質変換モデルから、元話者側のモデル部を抽出し、当該抽出した元話者側のモデル部を適応部２３ｄに出力してステップＳ７１０に移行する。
ステップＳ７１０では、声質変換モデル適応部２３において、ユーザに対して適応用の元話者音声データの取得要請を行いステップＳ７１２に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
【０２２５】
ステップＳ７１２では、元話者音声データ取得部２２において、適応用の元話者の音声データを取得（または入力音声から生成）したか否かを判定し、取得（生成）したと判定された場合（Yes)は、当該取得（生成）した適応用の元話者音声データを特徴量抽出部２３ｃに出力してステップＳ７１４に移行する。
ステップＳ７１４では、特徴量抽出部２３ｃにおいて、元話者音声データ取得部２２から入力された適応用の元話者音声データから特徴量を抽出し、当該抽出した元話者特徴量を適応部２３ｄに出力してステップＳ７１６に移行する。
【０２２６】
ステップＳ７１６では、適応部２３ｄにおいて、特徴量抽出部２３ｃから入力された元話者特徴量に基づき、所定の適応手法を用いて元話者側のモデル部のパラメータ値を推定してステップＳ７１８に移行する。
ステップＳ７１８では、適応部２３ｄにおいて、ステップＳ７１６で推定したパラメータ値に基づき、適応後元話者音声モデルを生成し、当該生成した適応後声質変換モデルを声質変換部２４に出力してステップＳ７２０に移行する。
【０２２７】
ステップＳ７２０では、声質変換部２４において、ユーザに対して声質変換用の元話者音声データの取得要請を行いステップＳ７２２に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
ステップＳ７２２では、元話者音声データ取得部２２において、声質変換用の元話者の音声データを取得（または入力音声から生成）したか否かを判定し、取得（生成）したと判定された場合(Yes)は、当該取得（生成）した声質変換用の元話者音声データを声質変換部２４に出力してステップＳ７２４に移行し、そうでない場合(No)は、取得（生成）するまで判定処理を繰り返す（または生成処理を行う）。
【０２２８】
ステップＳ７２４に移行した場合は、声質変換部２４において、元話者音声データ取得部２２から入力された声質変換対象の元話者の声質の音声データを、目標話者の声質の音声データに変換してステップＳ７２６に移行する。
ステップＳ７２６では、声質変換部２４において、声質変換後の音声データに基づき、変換音声を出力して処理を終了する。
【０２２９】
一方、ステップＳ７０６において、声質変換モデルの構成がＮ対１の構成又は中間話者を適用した構成ではなく、ステップＳ７２８に移行した場合は、声質変換モデル適応部２３において、開始指示情報で指定された声質変換モデルの構成は、１対Ｍの構成か否かを判定し、１対Ｍの構成であると判定された場合(Yes)は、ステップＳ７３０に移行し、そうでない場合(No)は、ステップＳ７４０に移行する。
【０２３０】
ステップＳ７３０に移行した場合は、適応対象抽出部２３ｂにおいて、ステップＳ７０４で受信した、１対Ｍ声質変換モデルから、目標話者側のモデル部を抽出し、当該抽出した目標話者側のモデル部を適応部２３ｄに出力してステップＳ７３２に移行する。
ステップＳ７３２では、声質変換モデル適応部２３において、ユーザに対して適応用の目標話者音声データの取得要請を行いステップＳ７３４に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
【０２３１】
ステップＳ７３４では、目標話者音声データ取得部２１において、適応用の目標話者の音声データを取得（または入力音声から生成）したか否かを判定し、取得（生成）したと判定された場合（Yes)は、当該取得（生成）した適応用の目標話者音声データを特徴量抽出部２３ｃに出力してステップＳ７３６に移行する。
ステップＳ７３６では、特徴量抽出部２３ｃにおいて、目標話者音声データ取得部２１から入力された適応用の目標話者音声データから特徴量を抽出し、当該抽出した目標話者特徴量を適応部２３ｄに出力してステップＳ７３８に移行する。
【０２３２】
ステップＳ７３８では、適応部２３ｄにおいて、特徴量抽出部２３ｃから入力された目標話者特徴量に基づき、所定の適応手法を用いて目標話者側のモデル部のパラメータ値を推定してステップＳ７１８に移行する。
また、ステップＳ７２８において、声質変換モデルの構成が１対Ｍではなく、ステップＳ７４０に移行した場合は、適応対象抽出部２３ｂにおいて、ステップＳ７０６で取得した、Ｎ対Ｍ声質変換モデルから、元話者側のモデル部及び目標話者側のモデル部の両方を抽出し、当該抽出した元話者側のモデル部及び目標話者側のモデル部を適応部２３ｄに出力してステップＳ７４２に移行する。
【０２３３】
ステップＳ７４２では、声質変換モデル適応部２３において、ユーザに対して適応用の元話者音声データ及び目標話者音声データの取得要請を行いステップＳ７４４に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
ステップＳ７４４では、元話者音声データ取得部２２及び目標話者音声データ取得部２１において、適応用の元話者及び目標話者の音声データを取得（または入力音声から生成）したか否かをそれぞれ判定し、取得（生成）したと判定された場合（Yes)は、当該取得（生成）した適応用の、元話者音声データ及び目標話者音声データを特徴量抽出部２３ｃに出力してステップＳ７４６に移行する。
【０２３４】
ステップＳ７４６では、特徴量抽出部２３ｃにおいて、元話者音声データ取得部２２から入力された適応用の元話者音声データ及び目標話者音声データ取得部２１から入力された適応用の目標話者音声データから特徴量を抽出し、当該抽出した元話者特徴量及び目標話者特徴量を適応部２３ｄに出力してステップＳ７４８に移行する。
ステップＳ７４８では、適応部２３ｄにおいて、特徴量抽出部２３ｃから入力された元話者特徴量に基づき、所定の適応手法を用いて元話者側のモデル部のパラメータ値を推定すると共に、特徴量抽出部２３ｃから入力された目標話者特徴量に基づき、所定の適応手法を用いて目標話者側のモデル部のパラメータ値をそれぞれ推定してステップＳ７１８に移行する。
【０２３５】
更に、図１６に基づき、クライアントコンピュータ３１におけるパラメータ制御モード時の声質変換処理の流れを説明する。ここで、図１６は、クライアントコンピュータ３１におけるパラメータ制御モード時の声質変換処理を示すフローチャートである。
パラメータ制御モード時の声質変換処理は、図１６に示すように、まずステップＳ８００に移行し、声質変換モデル受信部３１ｂにおいて、不図示の操作部を介したユーザからの声質変換開始指示があったか否かを判定し、あったと判定された場合(Yes)は、ステップＳ８０２に移行し、そうでない場合(No)は、指示があるまで判定処理を繰り返す。
【０２３６】
ステップＳ８０２に移行した場合は、声質変換モデル受信部３１ｂにおいて、開始指示情報で指定された構成の声質変換モデルの取得要求を生成し、当該取得要求を、データ通信部３０ａを介してサーバコンピュータ３０に送信してステップＳ８０４に移行する。ここで、クライアントコンピュータ３１は、予めサーバコンピュータ３０のＩＰアドレス等の情報を有している。
【０２３７】
ステップＳ８０４では、声質変換モデル受信部３１ｂにおいて、サーバコンピュータ３０からの声質変換モデルを受信したか否かを判定し、受信したと判定された場合(Yes)は、受信した声質変換モデルをモデル取得部２３ａに伝送してステップＳ８０６に移行し、そうでない場合(No)は、受信するまで判定処理を繰り返す。
ステップＳ８０６では、声質変換モデル適応部２３において、開始指示情報で指定された声質変換モデルの構成は、１対Ｍの構成か否かを判定し、１対Ｍであると判定された場合(Yes)は、ステップＳ８０８に移行し、そうでない場合(No)は、ステップＳ８２４に移行する。
【０２３８】
ステップＳ８０８に移行した場合は、適応対象抽出部２３ｂにおいて、ステップＳ８０４で受信した、１対Ｍ声質変換モデルから、目標話者側のモデル部を抽出し、当該抽出した目標話者側のモデル部を適応部２３ｄに出力してステップＳ８１０に移行する。
ステップＳ８１０では、声質変換モデル適応部２３において、ユーザに対して適応用の目標話者側のモデルの話者性制御パラメータ値の指定要請を行いステップＳ８１２に移行する。ここで、指定要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
【０２３９】
ステップＳ８１２では、話者性制御パラメータ指定部２５において、不図示の操作部などを介して、話者性制御パラメータが指定されたか否かを判定し、指定されたと判定された場合(Yes)は、指定された制御パラメータ値を適応部２３ｄに出力してステップＳ８１４に移行し、そうでない場合(No)は、指定されるまで判定処理を繰り返す。
ステップＳ８１４に移行した場合は、適応部２３ｄにおいて、話者性制御パラメータ指定部２５から入力された話者性制御パラメータ値に基づき、当該パラメータ値の表現する目標話者の音声に適応した適応後声質変換モデルを生成し、当該生成した適応後声質変換モデルを声質変換部２４に出力してステップＳ８１６に移行する。
【０２４０】
ステップＳ８１６では、声質変換部２４において、ユーザに対して声質変換用の元話者音声データの取得要請を行いステップＳ８１８に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
ステップＳ８１８では、元話者音声データ取得部２２において、声質変換用の元話者の音声データを取得（または入力音声から生成）したか否かを判定し、取得（生成）したと判定された場合(Yes)は、当該取得（生成）した声質変換用の元話者音声データを声質変換部２４に出力してステップＳ８２０に移行し、そうでない場合(No)は、取得（生成）するまで判定処理を繰り返す（または生成処理を行う）。
【０２４１】
ステップＳ８２０に移行した場合は、声質変換部２４において、元話者音声データ取得部２２から入力された声質変換対象の元話者の声質の音声データを、目標話者の声質の音声データに変換してステップＳ８２２に移行する。
ステップＳ８２２では、声質変換部２４において、声質変換後の音声データに基づき、変換音声を出力して処理を終了する。
【０２４２】
一方、ステップＳ８０６において、取得した声質変換モデルの構成が１対Ｍではなく、ステップＳ８２４に移行した場合は、適応対象抽出部２３ｂにおいて、ステップＳ８０４で受信した、Ｎ対Ｍ声質変換モデルから、元話者側のモデル部及び目標話者側のモデル部の両方を抽出し、当該抽出した元話者側のモデル部及び目標話者側のモデル部を適応部２３ｄに出力してステップＳ８２６に移行する。
【０２４３】
ステップＳ８２６では、声質変換モデル適応部２３において、ユーザに対して適応用の元話者音声データの取得要請を行いステップＳ８２８に移行する。ここで、取得要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
ステップＳ８２８では、元話者音声データ取得部２２において、適応用の元話者の音声データを取得（または入力音声から生成）したか否かを判定し、取得（生成）したと判定された場合（Yes)は、当該取得（生成）した適応用の元話者音声データを特徴量抽出部２３ｃに出力してステップＳ８３０に移行する。
【０２４４】
ステップＳ８３０では、特徴量抽出部２３ｃにおいて、元話者音声データ取得部２２から入力された適応用の元話者音声データから特徴量を抽出し、当該抽出した元話者特徴量を適応部２３ｄに出力してステップＳ８３２に移行する。
ステップＳ８３２では、声質変換モデル適応部２３において、ユーザに対して適応用の目標話者側のモデルの話者性制御パラメータ値の指定要請を行いステップＳ８３４に移行する。ここで、指定要請は、不図示の表示部にメッセージを表示したり、不図示の音声出力部から音声メッセージを出力するなどして行う。
【０２４５】
ステップＳ８３４では、話者性制御パラメータ指定部２５において、不図示の操作部などを介して、話者性制御パラメータが指定されたか否かを判定し、指定されたと判定された場合(Yes)は、指定された制御パラメータ値を適応部２３ｄに出力してステップＳ８３６に移行し、そうでない場合(No)は、指定されるまで判定処理を繰り返す。
ステップＳ８３６では、適応部２３ｄにおいて、特徴量抽出部２３ｃから入力された元話者特徴量に基づき、所定の適応手法を用いて元話者側のモデル部のパラメータ値を推定してステップＳ８３８に移行する。
ステップＳ８３８では、適応部２３ｄにおいて、ステップＳ８３６で推定されたパラメータ値と、ステップＳ８３４で指定された話者性制御パラメータ値とに基づき、適応後声質変換モデルを生成し、当該生成した適応後声質変換モデルを声質変換部２４に出力してステップＳ８１６に移行する。
【０２４６】
次に、本実施の形態の動作を説明する。
最初に、通常モード時の声質変換処理の動作について説明する。
クライアントコンピュータ３１は、まず、ユーザによる不図示の操作部の操作によって、声質変換開始指示（開始指示情報含む）が入力されると（ステップＳ７００の「Ｙｅｓ」の分岐）、声質変換モデル受信部３１ｂにおいて、開始指示情報と、サーバコンピュータ３０の情報とに基づき、前記開始指示情報で指定された構成の声質変換モデルの取得要求を生成する。そして、当該生成した取得要求を、データ通信部３１ａを介して、サーバコンピュータ３０に送信する（ステップＳ７０２）。
【０２４７】
一方、サーバコンピュータ３０は、声質変換モデル送信部３０ｂにおいて、データ通信部３０ａを介して、クライアントコンピュータ３１からの声質変換モデルの取得要求を受信すると（ステップＳ６００の「Ｙｅｓ」の分岐）、当該受信した取得要求に応じた声質変換モデルを声質変換モデル記憶部２０から読み出す（ステップＳ６０２）。そして、当該読み出した声質変換モデルを、データ通信部３０ａを介して、取得要求元のクライアントコンピュータ３１に送信する（ステップＳ６０４）。
【０２４８】
クライアントコンピュータ３１は、サーバコンピュータ３０からの声質変換モデルを受信すると（ステップＳ７０４の「Ｙｅｓ」の分岐）、当該受信した声質変換モデルをモデル取得部２３ａに伝送する。モデル取得部２３ａは、声質変換モデル受信部３１ｂからの声質変換モデルを、適応対象抽出部２３ｂに出力する。
上記一連の動作処理は、パラメータ制御モードにおいても同様となる。
また、以降の声質変換モデルの適応処理及び声質変換処理は、上記第２の実施の形態における声質変換システム２と同様となるので説明を省略する。
【０２４９】
以上、本実施の形態の声質変換クライアントサーバシステム３によれば、Ｎ人の元話者の音声データ及びＭ人の目標話者の音声データの少なくとも一方を用いて生成された、Ｎ対１、１対Ｍ、Ｎ対Ｍ声質変換モデルを、所望（任意）の元話者又は所望（任意）の目標話者の音声に適応させて声質変換に用いることが可能である。これによって、特定の元話者の任意の発声内容の音声データを、簡易に所望の目標話者の声質の音声データに変換したり、所望の元話者の任意の発声内容の音声データを、簡易に特定の目標話者又は所望の目標話者の声質の音声データに変換したりすることができる。
【０２５０】
また、固有声技術を用い、且つＮ人の元話者の音声データ及びＭ人の目標話者の音声データの少なくとも一方を用いて生成された、Ｎ対１、１対Ｍ、Ｎ対Ｍ声質変換モデルを、所望（任意）の元話者又は所望（任意）の目標話者の音声に適応させて声質変換に用いることが可能である。これによって、所望の元話者及び所望の目標話者の少なくとも一方の少数の音声データ（非パラレルでも良い）を用いて、ＥＭアルゴリズムによって、簡易に所望の話者の音声に声質変換モデルを適応させることができる。
【０２５１】
また、固有声技術を用い、且つＮ人の元話者の音声データ及びＭ人の目標話者の音声データの少なくとも一方を用いて生成された、１対Ｍ、又はＮ対Ｍ声質変換モデルの重みベクトル（話者性制御パラメータ）の値を、所定の範囲内においてユーザが任意の値に指定することが可能である。これによって、変換音声の声質を微調整したり、目標話者の音声データが得られなくとも、話者性制御パラメータ値を手動制御して、所望の声質又はそれに近い声質を持つ変換音声を得たりすることができる。また、Ｆ０等の他の音声パラメータも同時に制御するのであれば、スペクトルのみでなく、制御したい全音声パラメータの平均ベクトルでスーパーベクトル空間を構成してもよい。
【０２５２】
また、声質変換モデルを、サーバコンピュータ３０で保持し、クライアントコンピュータ３１からの取得要求に応じて当該クライアントコンピュータ３１に声質変換モデルを送信することが可能である。これにより、クライアントコンピュータ３１側で声質変換モデルを保持する必要が無いので、保持するためのメモリを不要にできるのでメモリの使用効率を高めることができる。
【０２５３】
また、声質変換モデルを、サーバコンピュータ３０側で保持及び管理することが可能となるので、これにより、声質変換モデルのバージョンアップ等を容易に行うことができると共に、バージョンアップ後の声質変換モデルを容易にクライアントコンピュータ３１に提供することができる。
上記第３の実施の形態において、データ通信部３０ａ及び声質変換モデル送信部３０ｂによる声質変換モデルの送信処理は、請求項１５又は請求項１６に記載の声質変換モデル送信手段に対応し、声質変換モデル記憶部２０は、請求項１５又は請求項１６に記載の声質変換モデル記憶手段に対応する。
【０２５４】
また、上記第３の実施の形態において、目標話者音声データ取得部２１は、請求項１５又は請求項１７に記載の目標話者音声データ取得手段に対応し、元話者音声データ取得部２２は、請求項１５又は請求項１７に記載の元話者音声データ取得手段に対応し、声質変換モデル適応部２３は、請求項１５又は請求項１７に記載の適応手段に対応し、声質変換部２４は、請求項１５又は請求項１７に記載の声質変換手段に対応する。
【０２５５】
なお、上記第３の実施の形態においては、クライアントコンピュータ３１が、サーバコンピュータ３０から声質変換モデルを取得して、当該取得した声質変換モデルの適応処理と、適応後の声質変換モデルを用いた声質変化処理を行う構成としたが、これに限らず、サーバコンピュータ３０が、声質変換モデルの適応処理を行ったり、当該適応処理に加えて声質変換処理を行う構成など、他の構成としても良い。
【０２５６】
例えば、サーバコンピュータ３０側で、適応処理及び声質変換処理を行う構成の場合は、クライアントコンピュータ３１は、目標話者音声データ取得部２１と、元話者音声データ取得部２２とによって、目標話者の音声データ及び元話者の音声データを取得してサーバコンピュータ３０に送信するだけで良くなり、声質変換モデルをサーバコンピュータ３０から取得する必要が無くなる。これにより、クライアントコンピュータ３１側で声質変換モデルを用いた処理を行わなくて済むので、クライアントコンピュータ３１が携帯機器などのようにメモリ資源が豊富ではない場合においても声質変換処理を行うことが可能となる。
【図面の簡単な説明】
【０２５７】
【図１】本発明の第１の実施の形態に係る声質変換モデル生成装置１の構成を示すブロック図である。
【図２】声質変換モデル生成部１２の詳細構成を示すブロック図である。
【図３】声質変換モデル生成装置１における声質変換モデル生成処理を示すフローチャートである。
【図４】声質変換モデル生成部１２における通常学習による声質変換モデル生成処理を示すフローチャートである。
【図５】声質変換モデル生成部１２における適応学習による声質変換モデル生成処理を示すフローチャートである。
【図６】本発明の第２の実施の形態に係る声質変換システム２の構成を示すブロック図である。
【図７】声質変換モデル適応部２３の詳細構成を示すブロック図である。
【図８】声質変換システム２における通常モード時の声質変換処理を示すフローチャートである。
【図９】声質変換システム２におけるパラメータ制御モード時の声質変換処理を示すフローチャートである。
【図１０】本発明の手法と、従来法との評価データにおける変換音声と出力話者の自然音声との間のメルケプストラム歪を示す図である。
【図１１】本発明の第３の実施の形態に係る声質変換クライアントサーバシステム３の概略構成を示すブロック図である。
【図１２】サーバコンピュータ３０の詳細構成を示すブロック図である。
【図１３】クライアントコンピュータ３１の詳細構成を示すブロック図である。
【図１４】サーバコンピュータ３０の声質変換モデル送信処理を示すフローチャートである。
【図１５】クライアントコンピュータ３１における通常モード時の声質変換処理を示すフローチャートである。
【図１６】クライアントコンピュータ３１におけるパラメータ制御モード時の声質変換処理を示すフローチャートである。
【符号の説明】
【０２５８】
１                声質変換モデル生成装置
２                声質変換システム
３                声質変換クライアントサーバシステム
１０              元話者音声データ記憶部
１１              目標話者音声データ記憶部
１２              声質変換モデル生成部
１３              声質変換モデル記憶部
１２ａ，２３ｃ    特徴量抽出部
１２ｂ            通常学習部
１２ｃ            特定話者モデル生成部
１２ｄ            適応学習部
２０              声質変換モデル記憶部
２１              目標話者音声データ取得部
２２              元話者音声データ取得部
２３              声質変換モデル適応部
２４              声質変換部
２５              話者性制御パラメータ指定部
２３ａ            モデル取得部
２３ｂ            適応対象抽出部
２３ｄ            適応部
３０ａ，３１ａ    データ通信部
３０ｂ            声質変換モデル送信部
３１ｂ            声質変換モデル受信部
【図１】
2008058696.tif 000015
【図２】
2008058696.tif 000016
【図３】
2008058696.tif 000017
【図４】
2008058696.tif 000018
【図５】
2008058696.tif 000019
【図６】
2008058696.tif 000020
【図７】
2008058696.tif 000021
【図８】
2008058696.tif 000022
【図９】
2008058696.tif 000023
【図１０】
2008058696.tif 000024
【図１１】
2008058696.tif 000025
【図１２】
2008058696.tif 000026
【図１３】
2008058696.tif 000027
【図１４】
2008058696.tif 000028
【図１５】
2008058696.tif 000029
【図１６】
2008058696.tif 000030