(57)【要約】自動的ドナー選択アルゴリズムは、ソーススピーカーとターゲットスピーカーとの音響特性の間の客観的な距離測定値から、主観的な音声変換出力品質を推定する。アルゴリズムは、ＭＬＰを用いる非線形回帰法を介して、主観的なスコアと客観的な距離測定値との関係性を学習する。一旦ＭＬＰが訓練されると、特定のターゲット音声への変換に対して予測される出力品質の形で、ソーススピーカーのセットの選択またはランキングに、該アルゴリズムが使用され得る。
2008537600.tif 000002
【特許請求の範囲】
【請求項１】
ドナーランキングシステムであって、
１つ以上の音響特性をドナースピーチサンプルおよびターゲットスピーカースピーチサンプルから抽出する音響特性抽出器と、
該音響特性に基づいて、音声変換品質値に対する予測を生成する適応システムと
を備える、システム。
【請求項２】
前記適応システムは、ドナースピーチサンプルと、ターゲットスピーカースピーチサンプルと、実際の音声変換品質値とを備える、訓練データのセットの上で訓練される、請求項１に記載のシステム。
【請求項３】
前記音声変換品質値は、前記ドナースピーチサンプルから導かれる変換されたスピーチサンプルと前記ターゲットスピーカースピーチサンプルとの類似性の主観的ランキングを備える、請求項１に記載のシステム。
【請求項４】
前記音声変換品質値は、ＭＯＳ品質値を備える、請求項１に記載のシステム。
【請求項５】
前記１つ以上の音響特性は、ＬＳＦ距離、継続時間分布の順位和、ピッチ分布の順位和、複数のフレームごとのエネルギ値を備えるエネルギ分布の順位和、スペクトルチルト値の分布の順位和、ＥＧＧ信号周期の周期当たりの開放指数値の分布の順位和、周期ごとのジッター値の順位和、周期ごとのシマー値の分布の順位和、ソフトな発音指数の分布の順位和、第一および第二の高調波の間のフレームごとの振幅差の分布の順位和、周期ごとのＥＧＧ形状値の分布の順位和、およびそれらの組み合わせからなるグループのうちから選択される、請求項１に記載のシステム。
【請求項６】
前記継続時間分布は、音素継続時間、単語継続時間、発声継続時間および単語間沈黙継続時間からなるグループからの継続時間特性を備える、請求項５に記載のシステム。
【請求項７】
周期に対する前記ＥＧＧ形状値は、声門の閉鎖する瞬間と該周期の最大値との間の区間と、声帯ひだが開いている間のＥＧＧ信号の区間と、声帯ひだが閉じている区間とからなるグループからの、最小二乗法であてはめられた直線の傾斜である、請求項５に記載のシステム。
【請求項８】
請求項１のドナーランキングシステムを備える、ドナー選択システムであって、複数のドナーからの複数のスピーチサンプルは、ターゲットスピーチサンプルと組にされ、ドナーは該複数のスピーチサンプルの各々に対する前記予測に基づいて、該複数のドナーから選択される、ドナー選択システム。
【請求項９】
ドナーをランキングする方法であって、
ドナースピーチサンプルおよびターゲットスピーカースピーチサンプルからの特徴から１つ以上の音響特性を抽出することと、
訓練された適応システムを用いて該音響特性に基づいて、音声変換品質値に対して予測をすることと
を包含する、方法。
【請求項１０】
前記適応システムは、ドナースピーチサンプルと、ターゲットスピーカースピーチサンプルと、実際の音声変換品質値とを備える、訓練データのセットの上で訓練される、請求項９に記載の方法。
【請求項１１】
前記音声変換品質値は、前記ドナースピーチサンプルから導かれる変換されたスピーチサンプルと前記ターゲットスピーカースピーチサンプルとの類似性の主観的ランキングを備える、請求項９に記載の方法。
【請求項１２】
前記音声変換品質値は、ＭＯＳ品質値を備える、請求項９に記載の方法。
【請求項１３】
前記１つ以上の音響特性は、ＬＳＦ距離、継続時間分布の順位和、ピッチ分布の順位和、複数のフレームごとのエネルギ値を備えるエネルギ分布の順位和、スペクトルチルト値の分布の順位和、ＥＧＧ信号周期の周期当たりの開放指数値の分布の順位和、周期ごとのジッター値の順位和、周期ごとのシマー値の分布の順位和、ソフトな発音指数の分布の順位和、第一および第二の高調波の間のフレームごとの振幅差の分布の順位和、周期ごとのＥＧＧ形状値の分布の順位和、およびそれらの組み合わせからなるグループのうちから選択される、請求項９に記載の方法。
【請求項１４】
前記継続時間分布は、音素継続時間、単語継続時間、発声継続時間および単語間沈黙継続時間からなるグループからの継続時間特性を備える、請求項１３に記載の方法。
【請求項１５】
周期に対する前記ＥＧＧ形状値は、声門の閉鎖する瞬間と該周期の最大値との間の区間と、声帯ひだが開いている間のＥＧＧ信号の区間と、声帯ひだが閉じている区間とからなるグループからの最小二乗法で当てはめられた直線の傾斜である、請求項１３に記載の方法。
【請求項１６】
ドナーランキングシステムを訓練する方法であって、
音声特徴を有するドナーおよびターゲットスピーカーを、スピーチサンプルの訓練データベースから選択することと、
実際の主観的品質値を導くことと、
ドナー音声スピーチサンプルおよびターゲットスピーカー音声スピーチサンプルから、１つ以上の音声特性を抽出することと、
該１つ以上の音声特性を適応システムに供給することと、
該適応システムを用いて、予測された主観的品質値を予測することと、
該予測された主観的品質値と該実際の主観的品質値との間の誤差値を計算することと、
該誤差値に基づいて、該適応システムを調節することと
を包含する、方法。
【請求項１７】
前記実際の主観的品質値を導くことは、
前記ドナー音声スピーチサンプルを、前記ターゲットスピーカーの前記音声特性を有する変換された音声スピーチサンプルに変換することと、
該変換された音声スピーチサンプルおよび該ターゲットスピーカー音声スピーチサンプルを主観的リスナーに提供することと、
該実際の主観的品質値を該主観的リスナーから受信することと
を包含する、請求項１６に記載の方法。
【請求項１８】
前記主観的リスナーは、複数の構成リスナーを備え、前記実際の主観的品質値は、該構成リスナーの各々から受信される構成品質値の統計的な組み合わせである、請求項１７に記載の方法。
【請求項１９】
前記統計的な組み合わせは平均である、請求項１８に記載の方法。
【請求項２０】
前記１つ以上の音響特性は、ＬＳＦ距離、継続時間分布の順位和、ピッチ分布の順位和、複数のフレームごとのエネルギ値を備えるエネルギ分布の順位和、スペクトルチルト値の分布の順位和、ＥＧＧ信号周期の周期当たりの開放指数値の分布の順位和、周期ごとのジッター値の順位和、周期ごとのシマー値の分布の順位和、ソフトな発音指数の分布の順位和、第一および第二の高調波の間のフレームごとの振幅差の分布の順位和、周期ごとのＥＧＧ形状値の分布の順位和、およびそれらの組み合わせからなるグループのうちから選択される、請求項１７に記載の方法。
【請求項２１】
前記継続時間分布は、音素継続時間、単語継続時間、発声継続時間および単語間沈黙継続時間からなるグループからの継続時間特性を備える、請求項２０に記載の方法。
【請求項２２】
周期に対する前記ＥＧＧ形状値は、声門の閉鎖する瞬間と該周期の最大値との間の区間と、声帯ひだが開いている間のＥＧＧ信号の区間と、声帯ひだが閉じている区間とからなるグループからの最小二乗法で当てはめられた直線の傾斜である、請求項２０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スピーチ処理の分野に関し、より詳細には、音声変換処理のためのドナースピーカーを選択する技術に関する。
【背景技術】
【０００２】
音声変換は、ソース（すなわちドナー）スピーカーの音声をターゲットスピーカーの音声へ自動変換することを目指す。いくつかのアルゴリズムが、この目的のために提案されるが、それらのアルゴリズムのどれも、異なる、ドナー−ターゲットスピーカーの組に対して等しい性能を保証し得ない。
【０００３】
ドナー−ターゲットスピーカーの組への音声変換性能の依存性は、実際のアプリケーションに対して不利益である。しかしながら、多くの場合において、ターゲットスピーカーは固定される、すなわち音声変換アプリケーションは、特定のターゲットスピーカーの音声を生成することを目指し、ドナースピーカーが候補者のセットから選択され得る。例として、例えば、コンピュータゲームアプリケーションにおける、普通の音声の有名人の音声への変換を含む、ダビングアプリケーションを考える。サウンドトラックを記録するために、高価であるかまたは実現の可能性のない実際の有名人を用いるよりも、普通の人物のスピーチ（すなわちドナーのスピーチ）を有名人のスピーチらしく聞こえるスピーチに変換することのために、スピーチ変換システムが使用される。この場合、ドナーの候補者、すなわち利用可能な人々のセット内のもっとも適したドナースピーカーを選ぶことは、出力の品質を著しく高める。例えば、女性のロマンス語系のスピーカーからのスピーチは、特定のアプリケーションにおいて、男性のゲルマン語系のスピーカーからのスピーチよりも、ドナー音声としてより適切であり得る。しかしながら、全ての可能性のある候補者から訓練データベース全体を収集すること、可能性のある候補者の各々に対して適切な変換を行うこと、変換を互いに比較すること、および各候補者の出力品質または適合性に対して１人以上のリスナーの主観的決定を得ることは、時間がかかり、高価である。
【発明の開示】
【課題を解決するための手段】
【０００４】
本発明は、従来技術のこれらのおよびその他の欠点を、所与のターゲットスピーカーに変換するためのドナーの候補者のグループから適切なドナースピーカーを自動的に評価し、選択するドナー選択システムを提供することによって、克服する。特に、本発明は、とりわけ、多くのドナーから得られた音響特性を、実際にスピーチ変換を行うことなしにターゲットの発声と比較することによって、選択プロセスにおける客観的基準を用いる。客観的基準と出力品質との間の信頼できる関係性は、最良のドナー候補者の選択を可能にする。このようなシステムは、とりわけ、多くの量のスピーチを変換することおよび変換の品質を主観的に聞く人間の審査員を有する必要性を排除する。
【０００５】
本発明の実施形態において、ドナーをランキングするシステムは、ドナースピーチサンプルおよびターゲットスピーカースピーチサンプルから音響特性を抽出する音響特性抽出器と、抽出された音響特性に基づいて音声変換品質に対する予測を生成する適応システムとを備える。ここで、音声変換品質は、変換の品質全体に基づき得、ターゲットスピーカーの音声特徴に対する変換されたスピーチの類似性に基づき得る。音響特性は、例えば、線スペクトル周波数（ＬＳＦ）距離、ピッチ、音素継続時間、単語継続時間、発声継続時間、単語間沈黙時間、エネルギ、スペクトルチルト、ジッター（ｊｉｔｔｅｒ）、開放指数（ｏｐｅｎ  ｑｕｏｔｉｅｎｔ）、シマー（ｓｈｉｍｍｅｒ）、および電子グロットグラフ（ｅｌｅｃｔｒｏ−ｇｌｏｔｔｏｇｒａｐｈ）（ＥＧＧ）形状値を含み得る。
【０００６】
別の実施形態において、ターゲットスピーカーに対する適切なドナーを選択するシステムは、ドナーランキングシステムを使用し、ランキングの結果に基づいてドナーを選択する。
【０００７】
別の実施形態において、ドナーをランキングする方法は、１つ以上の音響特性を抽出するステップと、適応システムを用いて音響特性に基づいて音声変換品質を予測するステップとを包含する。
【０００８】
さらに別の実施形態において、ドナーランキングシステムを訓練する方法は、スピーチサンプルの訓練データベースからドナーおよびターゲットスピーカーを選択するステップと、主観的な品質値を導くステップと、ドナー音声スピーチサンプルおよびターゲットスピーカー音声スピーチサンプルから１つ以上の音響特性を抽出するステップと、音響特性を適応システムに供給するステップと、適応システムを用いて品質値を予測するステップと、予測された品質値と主観的な品質値との間の誤差を計算するステップと、誤差に基づいて適応システムを調節するステップとを包含する。さらに、ドナー音声スピーチサンプルを、ターゲットスピーカーの音声特徴を有する変換された音声スピーチサンプルに変換すること、変換された音声スピーチサンプルおよびターゲットスピーカー音声スピーチサンプルの双方を１つ以上の主観的なリスナーに提供すること、および主観的なリスナーから主観的な品質値を受信することによって、主観的な品質値は取得され得る。ここで、主観的な品質値は、個別のリスナーの各々から取得される個別の主観的な品質値の統計的な組み合わせであり得る。
【０００９】
本発明の前述および他の特徴および利点は、以下の、本発明の好ましい実施形態のさらに詳細な記載、添付する図面および特許請求の範囲から明らかになる。
【発明を実施するための最良の形態】
【００１０】
本発明と、本発明の目的および利点とのより完全な理解のために、添付する図面に関連してなされる以下の記載が、ここで参照される。
【００１１】
本発明のさらなる特徴および利点ならびに本発明の様々な実施形態の構造および働きは、添付の図１〜図１３を参照して以下に詳細に記載される。図面の中で、同様の参照数字は、同様の要素を参照する。本発明の実施形態は、音声変換システムに関連して記載される。それにもかかわらず、当業者は、本発明および本明細書に記載されるその特徴は、ドナー音声選択が必要とされるスピーチ処理システムに適用可能であり、または変換品質を高め得ることを容易に認識する。
【００１２】
映画の吹き替えのような多くのスピーチ変換アプリケーションにおいて、声優（ｄｕｂｂｉｎｇ  ａｃｔｏｒ）の音声は、出演俳優（ｆｅａｔｕｒｅ  ａｃｔｏｒ）の音声のスピーチに変換される。このようなアプリケーションにおいて、声優のようなソース（ドナー）スピーカーによって記録されるスピーチは、出演俳優のようなターゲットスピーカーの音声特徴を有するボーカルトラクト（ｖｏｃａｌ  ｔｒａｃｔ）に変換される。例えば、映画は、元の英語を話す俳優の声の音声特徴をスペイン語のサウンドトラックにおいても維持することが望まれて、英語からスペイン語に吹き替えられ得る。このようなアプリケーションにおいて、ターゲットスピーカー（すなわち英語を話す俳優）の音声特徴は固定されるが、吹き替えプロセスに寄与することが可能な広範囲の音声特性を有するドナーの蓄え（ｐｏｏｌ）（すなわちスペイン語のスピーカー）がある。一部のドナーは、全体の音質およびターゲットスピーカーとの類似性に関して、他に比べてより良い変換をもたらす。
【００１３】
伝統的に、ドナーは、スピーチのサンプルをターゲットスピーカーの音声特徴に変換すること、および次に、各変換されたサンプルをターゲットスピーカーのサンプルと主観的に比較することによって評価される。言い換えると、１人以上の人物が介入し、全ての変換を聞くことで、どの特定のドナーがもっとも適するかを決定しなければならない。映画の吹き替えシナリオにおいて、このプロセスは、各ターゲットスピーカーおよび各ドナーのセットに対して繰り返される必要がある。
【００１４】
反対に、本発明は、自動的ドナーランキングおよび選択システムを提供し、１つのターゲットスピーカーサンプルおよび１つ以上のドナースピーカーサンプルのみを必要とする。客観的なスコアが計算されて、所与のドナーが、任意のドナースピーチサンプルを変換する費用のかかるステップなしに、複数の音響特性に基づいて、質の高い変換をもたらす可能性を予測する。
【００１５】
自動的ドナーランキングシステムは、所与のターゲットスピーカーの音声への変換に対する所与のドナーの品質を評価するために、キーとなる音響特性を使用する適応システムを備える。自動ドナーランキングシステムがドナーを評価するために使用され得る前に、適応システムが訓練される。この訓練プロセスの間に、適応システムは、訓練セットを供給され、この訓練セットは複数のスピーカーの例示的なスピーチサンプルから導かれる。複数のドナー−ターゲットスピーカーの組が、複数のスピーカーから導かれる。最初に、ドナースピーチがターゲットスピーカーの音声特徴に変換され、１人以上の人間によって評価されるときに、主観的な品質のスコアが導かれる。変換の一部分は適応システムの訓練において行われるが、一旦訓練されると、自動的ドナーシステムは、いかなる追加の音声変換をも必要としない。
【００１６】
図１は、本発明の実施形態に従う、自動的ドナーランキングシステム１００を図示する。ドナースピーチサンプル１０２およびターゲットスピーカースピーチサンプル１０４は、音響特性抽出器１０６に送られ（このインプリメンテーションは、当業者には明らかである）、ドナースピーチサンプル１０２およびターゲットスピーカースピーチサンプル１０４から音響特性を抽出する。これらの音響特性は、次いで、適応システム１０８に供給され、適応システム１０８が、Ｑスコア出力１１０およびＳスコア出力１１２を生成する。Ｑスコア出力１１０は、ドナーの音声からターゲットの音声への音声変換の予測された平均オピニオンスケール（ＭＯＳ）音質であり、これは音質に対する標準のＭＯＳスケール（１＝悪い、２＝不十分、３＝まずまず、４＝良い、５＝素晴らしい）に対応する。Ｓ出力１１２は、ドナーの音声からターゲットの音声への音声変換の予測される類似性（１＝悪い、から１０＝素晴らしい、までにランキングされる）である。以下に記載される適応システム１０８の訓練プロセスの間に、訓練セット１１４は、音響特性抽出器１０６に供給され、適応システム１０８によって処理される。訓練セットは、ＱスコアおよびＳスコアと一緒に複数のドナー−ターゲットスピーカーの組を備える。各ドナー−ターゲットスピーカーの組に対して、音響特性抽出器１０６は、ドナースピーチおよびターゲットスピーカースピーチから音響特性を抽出し、その結果を適応信号に供給し、適応信号がＱスコア出力１１０およびＳスコア出力１１２を計算および供給する。訓練セットからのドナー−ターゲットスピーカーの組に対するＱスコアおよびＳスコアは、適応システム１０８に供給され、適応システム１０８は、これらのスコアをＱスコア出力１１０およびＳスコア出力１１２と比較する。適応システム１０８は、次いで生成されたＱスコアおよびＳスコアと、訓練セットにおけるＱスコアおよびＳスコアとの間の不一致を最小化するように適応する。
【００１７】
任意の所与のターゲットスピーカーに対して、複数のドナーのボーカルトラクトがシステム１００に利用可能である場合には、Ｑスコア出力１１０およびＳスコア出力１１２の結果のそれぞれの値が、複数のドナーのうちのどのドナーが、ターゲットスピーカーの音声に変換される音声の類似性および変換された音声の全体的な音質の両方において、より高い質の音声変換をもたらす可能性があるかを示す。
【００１８】
図２は、本発明の実施形態に従う、所与のスピーチサンプル、すなわちボーカルトラクトから音響特性のセットを抽出するように、特性抽出器１０６によってインプリメントされたプロセス２００を図示する。ステップ２０２において、各サンプルは、電子グロットグラフ（ＥＧＧ）記録として受信される。ＥＧＧ記録は、器官声門（声帯ひだ）の出力における空気の体積速度を電気信号として与える。それは、スピーチの発声の間の人間の励起特性を示す。ステップ２０４において、各サンプルは、例えば、隠れマルコフモデルツールキット（ＨＴＫ）によって音声的にラベル付けされ、このインプリメンテーションは当業者にとって明らかである。ステップ２０６において、持続した母音／ａａ／のＥＧＧ信号は、分析され、ピッチマークが決定される。／ａａ／の音に対して、ボーカルトラクト上の全ての点に収縮が加えられず、それゆえ、それがソースとターゲットスピーカーとの励起特性の比較に対する良好な参考となる一方で、他の音の生成に対して、アクセントまたは方言が追加の変動を加え得るので、／ａａ／の音が使用される。ステップ２０８において、ピッチおよびエネルギコンターが抽出される。ステップ２１０において、対応するフレームが、音声的なラベルから、各ソースとターゲットの発声との間で決定される。ステップ２１２において、個別の音響特性が抽出される。
【００１９】
本発明の実施形態において、抽出される個別の音響特性は、以下の特性：線スペクトル周波数（ＬＳＦ）距離、ピッチ、継続時間、エネルギ、スペクトルチルト、開放指数（ＯＱ）、ジッター、シマー、ソフトな発音指数（ＳＰＩ）、Ｈ１−Ｈ２およびＥＧＧ形状のうちの１つ以上を含む。これらの特性は、以下にさらに詳細に記載される。
【００２０】
詳細には、本発明の実施形態において、ＬＳＦは、１６ＫＨｚにおいて、２０次の線形予測を用いて、フレームごとのベースで算出される。２つのＬＳＦベクトル間の距離ｄは、
【００２１】
【数１】
2008537600.tif 000003
を用いて算出され、ここで、
【００２２】
【数２】
2008537600.tif 000004
であり、ここで、ｗ１ｋは、第一のＬＳＦベクトルのｋ番目の成分であり、ｗ２ｋは、第二のＬＳＦベクトルのｋ番目の成分であり、Ｐは、予測次数であり、ｈｋは、第一のＬＳＦベクトルに対応するｋ番目の成分の重みである。
【００２３】
ピッチ（ｆ０）値は、標準の自動補正ベースのピッチ検出アルゴリズムを用いて算出され、この識別およびインプリメンテーションは、当業者にとって明らかである。
【００２４】
継続時間特性に対して、音素、単語、発声および単語間沈黙継続時間が、音声的なラベルから計算される。
【００２５】
エネルギ特性に対して、フレームごとのエネルギが算出される。
【００２６】
スペクトルチルトに対して、大域的なスペクトルピークのｄＢ振幅値と４ＫＨｚにおけるｄＢ振幅値との間のＬＰスペクトル（予測次数２）に適合される最小二乗直線の傾斜が使用される。
【００２７】
ＥＧＧ信号の各周期に対して、ＯＱは、図３に例示的な男性のスピーカーに対して示されるように、信号の長さに対する信号の正の区間の比率として推定される。
【００２８】
ジッターは、基本的なピッチ周期Ｔ０の周期ごとの変動の平均であり、持続する母音／ａａ／における無声の区間を除いて、
【００２９】
【数３】
2008537600.tif 000005
を用いて、算出される。
【００３０】
シマーは、ピーク間の振幅Ａの周期ごとの変動の平均であり、持続する母音／ａａ／における無声の区間を除いて、
【００３１】
【数４】
2008537600.tif 000006
を用いて、算出される。
【００３２】
ソフト発音指数（ＳＰＩ）は、１６００〜４５００Ｈｚの範囲の高調波エネルギに対する７０〜１６００Ｈｚの範囲の低周波数の高調波エネルギの比率であり、算出される。
【００３３】
Ｈ１−Ｈ２は、パワースペクトルから推定されるようなスペクトルにおける第一および第二の高調波のフレームごとの振幅差である。
【００３４】
ＥＧＧ形状は簡単な３つのパラメータのモデルであり、ＥＧＧ信号の１つの周期を、図４の例示的な男性のスピーカーに対して示されるように特徴付け、ここでαは、声門が閉鎖する瞬間とＥＧＧ形状のピークとの間に当てはめられた最小二乗直線の傾斜であり、βは声帯ひだが開いているときのＥＧＧ信号の区間に当てはめられた最小二乗直線の傾斜であり、γは、声帯ひだが閉じているときの区間に当てはめられた最小二乗直線の傾斜である。
【００３５】
１つの値をもたらすＬＳＦ距離とは異なり、抽出される上記の他の特性の全てが分布する値である。
【００３６】
図５は、本発明の実施形態に従う、２人の例示的な女性に対する異なる音響特性の例示的なヒストグラムを示す。これらのヒストグラムにおいて、ｙ軸はｘ軸のパラメータ値の発生の正規化された周波数に対応する。図５（ａ）は、２人の女性に対するピッチ分布を示す。図５（ｂ）は、２人の女性に対するスペクトルチルトを示す。図５（ｃ）は、２人の女性に対する開放指数を示す。図５（ｄ）〜（ｆ）は、彼女らのＥＧＧ形状、特にβおよびγパラメータをそれぞれ示す。図５に示されるような、時間的およびスペクトル的特性は、スピーカーに依存し、スピーカー間の差を分析またはモデル化するために使用され得る。本発明の実施形態において、上記でリストされる音響特性のセットは、ソース−ターゲットスピーカーの組の間の差をモデル化するために使用される。
【００３７】
本発明の実施形態において、２人のスピーカー間の音響特性の距離は、例えば、Ｗｉｌｃｏｘｏｎ順位和検定を用いて計算され、これは分布を比較する従来の統計的な方法である。この順位和検定は、ＷｉｌｄおよびＳｅｂｅｒによって記載されるような２つのサンプルのｔ検定に対するノンパラメトリックな代替案であり、任意の分布からのデータに対して有効であり、２つのサンプルのｔ検定と比較すると異常値に対する感度がかなり低い。それは、分布の平均値における差だけではなく、分布の形状間の差に対しても反応する。順位和の値が低ければ低いほど、比較される２つの分布はより近くなる。
【００３８】
本発明の実施形態において、上記される音響特性の１つ以上が適応システム１０８への入力として提供される。ドナーをランキングするために適応システム１０８を用いる前に、適応システム１０８は訓練段階を受けなければならない。具体的に、ドナー−ターゲットスピーカーの組のセットを備える訓練セット１１４が、それらのＳスコアおよびＱスコアと共に提供される。訓練セットを発展させるために、データを導くまたは観測することの例が、以下に記載される。さらに、ＳスコアおよびＱスコアを有するドナー−ターゲットスピーカーのセットは、検定セットとして保存される。訓練段階の間に、各ドナー−ターゲットスピーカーの組は、上記されるようなもののうちの１つ以上のような、音響特性抽出器１０６によって抽出された音響特性を有する。これらの特性は、適応システム１０８に送られ、適応システムは予測されるＳスコアおよびＱスコアを生成する。これらの予測されるスコアは、訓練セット１１４の一部として供給されるＳスコアおよびＱスコアと比較される。差は誤差として適応システム１０８に供給される。適応システム１０８は、次いで、その誤差を最小化しようとして調節する。当該分野で公知の誤差最小化の方法がいくつかあり、具体的な例は以下に記載される。訓練の期間の後に、検定セット内のドナー−ターゲットスピーカーの組の音響特性が抽出される。適応システム１０８は、予測されるＳスコアおよびＱスコアを生成する。これらの値は、検定セットの一部として供給されるＳスコアおよびＱスコアと比較される。予測されるＳスコアおよびＱスコアと、実際のＳスコアおよびＱスコアとの間の誤差が許容可能な閾値内にある場合には、適応システム１０８は、訓練され、使用に向けて準備される。例えば、誤差が実際の値の±５％以内である場合。そうではない場合には、プロセスは訓練に戻る。
【００３９】
本発明の少なくとも１つの実施形態において、適応システム１０８は、マルチレイヤ認識（ＭＬＰ）ネットワークまたは後方伝播ネットワークを備える。図６は、ＭＬＰネットワークの例を図示する。ＭＬＰネットワークは、音響特性を受信する入力レイヤ６０２と、該入力レイヤに結合された１つ以上の隠れレイヤ６０４と、予想されるＱスコアおよびＳスコア出力（それぞれ６０８および６１０）を生成する出力レイヤ６０６とを備える。各レイヤは、訓練において調節され得る各入力に結合される重みを有する１つ以上のパーセプトロン（ｐｅｒｃｅｐｔｒｏｎ）を備える。ＭＬＰネットワークを構築し、訓練し、使用する技術は、当該分野で周知である（例えば、Ｈｅｃｈｔ−ＮｉｅｌｓｅｎによるＮｅｕｒｏｃｏｍｐｕｔｉｎｇ、ｐｐ．１２４〜１３８、１９８７年を参照）。ＭＬＰネットワークを訓練するこのような１つの方法は、誤差を最小にする勾配降下法（ｇｒａｄｉｅｎｔ  ｄｅｓｃｅｎｔ  ｍｅｔｈｏｄ）であり、この方法のインプリメンテーションは当業者にとって明白である。
【００４０】
図７は、本発明の実施形態に従う、訓練の間に構成された自動ドナーランキングシステム１００を図示する。訓練の間に、訓練データベース７０２は、いくつかのスピーカーの発生のサンプル記録を提供され、訓練データベース７０２内の記録のドナー−ターゲットスピーカーに対するＱスコアおよびＳスコア７０８の追加によって訓練セット１１４を形成する。ＱスコアおよびＳスコア７０８を生成するために、考えられる各ドナー−ターゲットスピーカーの組は、ターゲットスピーカー７０４のボーカル特性を真似するように変換されたドナースピーチを有する。主観的なリスニング基準は、変換されたスピーチとターゲットスピーカースピーチ７０６とを比較するために、最初に加えられる。例えば、人間のリスナーは、各変換の知覚される品質を評価し得る。この主観的なリスニング検定は、訓練の間に最初に一度だけ行われることに注意する。引き続く知覚解析は、システム１００によって客観的に行われる。
【００４１】
ハードウェアおよび／またはソフトウェアとして具体化され得る音声変換要素７０４は、システム１００がドナー品質を評価するように設計されるための方法と、同一の変換方法をインプリメントするべきである。例えば、システム１００が、Ｓｐｅａｋｅｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ  ｕｓｉｎｇ  Ｓｅｇｍｅｎｔａｌ  Ｃｏｄｅｂｏｏｋｓ（ＳＴＡＳＣ）を用いる音声変換に対する最良のドナーを決定するために使用される場合には、ＳＴＡＳＣ変換が使用されるべきである。しかしながら、ドナーが別の音声変換技術（例えば、「Ｃｏｄｅｂｏｏｋ−ｌｅｓｓ  Ｓｐｅｅｃｈ  Ｃｏｎｖｅｒｓｉｏｎ  Ｍｅｔｈｏｄ  ａｎｄ  Ｓｙｓｔｅｍ」と題され、Ｔｕｒｋ他によって２００６年３月８日に出願された共有に係る米国特許出願第１１／３７０，６８２号に開示されるコードブックレス技術であり、該開示の全体が本明細書において参考によって援用される）に対して選択される必要のある場合には、音声変換７０４は、その同一の音声変換技術を使用するべきである。
【００４２】
訓練プロセスにおいて、ドナー−ターゲットスピーカーの組は、特性抽出器１０６に提供され、該特性抽出器１０６は、上記のようにＱスコアおよびＳスコアを予測するために適応システム１０８によって使用される特性を抽出する。さらに、実際のＱスコア７１０およびＳスコア７１２は、適応システム１０８に提供される。使用される特定の訓練アルゴリズムに基づいて、適応システム１０８は、予測されるＱスコアおよびＳスコアと実際のＱスコアおよびＳスコアとの間の誤差を最小化するように適応する。
【００４３】
図８は、本発明の実施形態に従う訓練セットを生成する方法８００を図示する。詳細には、ステップ８０２において、検定スピーカーは、所定の発声のセットの発声を記録される。ステップ８０４において、残りの検定スピーカーが同一の所定の発声のセットの発声を記録され、可能な限り近いタイミングで第一の検定スピーカーを真似するように話し、このことが自動アラインメント性能を向上させることに役立つ。ステップ８０６において、各予め選択されたそれぞれのドナー−ターゲットスピーカーの組に対して、ドナーの発声は、ターゲットスピーカーのボーカル特性に変換される。上記されるように、システム１００が、ＳＴＡＳＣを用いる音声変換に対する最良のドナーを決定するために使用される場合には、ＳＴＡＳＣ変換が、ステップ８０６において使用される。しかしながら、ドナーが別の音声変換技術に対して選択される必要のある場合には、ステップ８０６における音声変換が、同一の音声変換技術を使用するべきである。
【００４４】
音声の違いおよび記録の品質は、例えば、上記されるＱ値およびＳ値のように、非常に主観的であるので、訓練および検定データの導出は、最初は主観的な検定に基づくべきである。従って、ステップ８０８において、１人以上の人間の対象は、ソース、ターゲットおよび変換された発声を提示され、各変換に対する２つの主観的なスコア（ターゲットスピーカーの音声に対する変換出力の類似性（Ｓスコア）および上記されるスコアリング範囲を用いる音声変換出力のＭＯＳ品質（Ｑスコア））を提供するように要請される。ステップ８１０において、代表的なスコアは、例えば、いくつかの統計的な組み合わせの形式を用いて、ＱスコアおよびＳスコアに対して決定され得る。例えば、グループ内の全員に対する全てのＳスコアおよび全てのＱスコアにわたる平均が使用され得る。別の例においては、最高および最低のスコアが切り捨てられた後に、グループ内の全員に対する全てのＳスコアおよび全てのＱスコアにわたる平均が使用され得る。別の例においては、グループ内の全員に対する全てのＳスコアおよび全てのＱスコアにわたる中央値が使用され得る。
【００４５】
訓練セットを発展させる例として、例示的な研究が以下に記載される。この例に対して、ＳＴＡＳＣが、音声変換技術として使用され、これはＬ．Ｍ．Ａｒｓｌａｎによる「Ｓｐｅａｋｅｒ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ  ａｌｇｏｒｉｔｈｍ  ｕｓｉｎｇ  ｓｅｇｍｅｎｔａｌ  ｃｏｄｅｂｏｏｋｓ」（Ｓｐｅｅｃｈ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ２８、ｐｐ．２１１〜２１６、１９９９年）において提案された、コードブックマッピングの基づくアルゴリズムである。ＳＴＡＳＣは、不連続性を減少させるために変換フィルタの適応性のある平滑化を使用し、自然な響きと高品質の出力とを生じる。ＳＴＡＳＣは、２段階のコードブックマッピングに基づくアルゴリズムである。ＳＴＡＳＣアルゴリズムの訓練段階において、ソースおよびターゲットの音響パラメータの間のマッピングがモデル化される。ＳＴＡＳＣアルゴリズムの変換段階において、ソーススピーカーの音響パラメータは、フレームごとのベースでソーススピーカーのコードブックエントリとマッチングされ、ターゲット音響パラメータは、ターゲットコードブックエントリの重み付けられた平均値として推定される。重み付けアルゴリズムは、不連続性を有意に減少させる。該アルゴリズムは、国際間の吹き替え、歌の音声の変換、および新たなテキストトゥスピーチ（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ）（ＴＴＳ）音声作成のための市販のアプリケーションにおいて使用されている。
【００４６】
（実験結果）
以下の実験研究は、１８０組のドナー−ターゲットスピーカーの組の訓練セットを生成するために使用された。最初に、音声変換データベースは、音響的に隔離された部屋において記録された１０人の男性および１０人の女性のネイティブのトルコ人スピーカーからの２０個の発声（１８個の訓練、２個の検定）から構成された。発声は「床の上にグレーのカーペットがある」のように部屋を描写する自然な文章であった。ＥＧＧ記録は、同時に収集された。男性のスピーカーのうちの１人が、基準スピーカーとして選択され、残りのスピーカーは基準スピーカーのタイミングを可能な限り近く真似するように話した。
【００４７】
男性−男性および女性−女性の変換は、性別間の変換に要求される大量のピッチスケーリングに起因する品質低下を避けるために別々に考慮された。各スピーカーはターゲットとして考えられ、変換は同性の残りの９人のスピーカーから、そのターゲットスピーカーに対して行われた。それゆえ、ソース−ターゲットの組の総数は、１８０組（９０組の男性−男性、９０組の女性−女性）であった。
【００４８】
１２の対象が、ソース、ターゲットおよび変換された記録を提示され、各変換に対する２つの主観的なスコア、ＳスコアおよびＱスコアを提供するように要請された。
【００４９】
図９および図１０は、本実験に従う、全てのソース−ターゲットスピーカーの組に対する平均のＳスコアを列挙する表を示す。詳しくは、図９は、全ての男性のソース−ターゲットスピーカーの組に対する平均のＳスコアを列挙し、図１０は、全ての女性のソース−ターゲットスピーカーの組に対する平均のＳスコアを列挙する。男性の組に対して、最高のＳスコアは、基準スピーカーがソーススピーカーであった場合に得られる。それゆえ、音声変換の性能は、ソースのタイミングが訓練セットにおいてターゲットのタイミングに良好にマッチングする場合に向上する。基準スピーカーを除いて、最良の音声変換性能を生じる供給源スピーカーは、ターゲットスピーカーが変わるごとに、変わる。それゆえ、音声変換アルゴリズムの性能は、選択された特定のソース−ターゲットの組に依存する。表の最後の行は、一部のソーススピーカーが他と比較して音声変換に適切でないことを示す（例えば、男性のソーススピーカー４番および女性のソーススピーカー４番）。表の最後の列は特定のターゲットスピーカーの音声を生成することが難しいことを示す（すなわち、男性のターゲットスピーカー６番および女性のターゲットスピーカー１番）。
【００５０】
図１１および図１２は、本実験に従う、全てのソース−ターゲットスピーカーの組に対する平均のＱスコアを列挙する表を示す。詳しくは、図１１は、全ての男性のソース−ターゲットスピーカーの組に対する平均のＱスコアを列挙し、図１２は、全ての女性のソース−ターゲットスピーカーの組に対する平均のＳスコアを列挙する。
【００５１】
本発明の実施形態において、訓練セットが上記のように作成された後に、システム１００は訓練された。主観的な検定値を予測する際のシステム１００の性能は、１０フォールドの交差妥当性確認を用いて評価された。この目的のために、２人の男性および２人の女性のスピーカーが検定セットとして取りわけられる。２人の男性および２人の女性のスピーカーは妥当性確認セットとして取りわけられる。残りの男性−男性の組および女性−女性の組の間の客観的な距離は、システム１００への入力として使用され、対応する主観的なスコアは出力として使用される。訓練の後に、主観的なスコアは、妥当性確認セットのターゲットスピーカーに対して推定され、ＳスコアおよびＱスコアに対する誤差が計算される。
【００５２】
図１３は、本発明の実施形態に従う、自動ドナー選択アルゴリズムに基づく１０フォールドの交差妥当性確認およびＭＬＰの検定に対する結果を示す。各交差妥当性確認ステップにおける誤差は、システム１００の決定と主観的な検定結果との間の絶対的な差として定義され、ここで、
【００５３】
【数５】
2008537600.tif 000007
であり、ここでＴは、検定内のソース−ターゲットの組の総数であり、ＳＳＵＢ（ｉ）は、ｉ番目の組に対する主観的なＳスコアであり、ＳＭＬＰ（ｉ）は、ｉ番目の組に対してＭＬＰによって推定されたＳスコアであり、ＱＳＵＢ（ｉ）は、ｉ番目の組に対するＱスコアであり、ＱＭＬＰ（ｉ）はｉ番目の組に対してＭＬＰによって推定されたＱスコアである。ＥＳは、Ｓスコアにおける誤差を示し、ＥＱは、Ｑスコアにおける誤差を示す。上記される２つのステップは、妥当性確認セットの異なるスピーカーを用いることによって、１０回繰り返される。平均の交差妥当性確認誤差は、個別のステップにおける誤差の平均として算出される。最終的に、ＭＬＰは、検定セット内の１人を除く全てのスピーカーを用いて訓練され、性能は検定セット上で評価される。
【００５４】
さらに、決定ツリーが、主観的な検定結果と音響特性の距離との間の関係性を調査するために、ＩＤ３アルゴリズムを用いて訓練され得る。実験結果において、全てのソース−ターゲットスピーカーの組からのデータを用いて訓練された決定ツリーは、Ｈ１−Ｈ２特性のみを用いることによって、男性のソーススピーカー３番を他から区別する。彼がターゲットスピーカーとして使用される場合に得られる低い主観的なスコアは、音声変換を用いてこのスピーカーの音声を生成することが困難であることを示す。このスピーカーは、決定ツリーによって正しく識別されるように、残りのスピーカーと比較すると、有意に低いＨ１−Ｈ２およびｆ０を有した。
【００５５】
上記のシステムは、所与のドナーに基づき変換の品質を予測する。ドナーは、予測されるＱスコアおよびＳスコアに基づいて、タスクされる音声変換に対して複数のドナーから選択され得る。ＱスコアおよびＳスコアの相対的な重要性は、アプリケーションに依存する。例えば、映画の吹き替えの例において、音質は非常に重要であるので、高いＱスコアが、ターゲットスピーカーに対する類似性を犠牲にしてさえ好まれ得る。反対に、周囲が騒々しくあり得る電話システム（例えば、ロードサイドのアシスタンスコールセンター）上の音声応答に適用されるＴＴＳシステムにおいては、Ｑスコアは重要ではないので、Ｓスコアがドナー選択プロセスにおいてより重く重み付けられ得る。それゆえ、ドナー選択システムにおいて、複数のドナーからのドナーはそのＱスコアおよびＳスコアを用いてランキングされ、ＱスコアおよびＳスコアに関する最良の選択が選択され、ここでＱスコアとＳスコアとの間の関係性は、特定のアプリケーションに基づいて公式化される。
【００５６】
本発明は、本明細書において、例示のみのための特定の実施形態を用いて記載されてきた。しかしながら、本発明の原理は他の方法で具体化され得ることは、当業者には容易に明らかとなる。それゆえ、本発明は、本明細書で開示される特定の実施形態に対する範囲に限定されるとみなされるべきではなく、その代わりに添付の特許請求の範囲と完全に合致する。
【図面の簡単な説明】
【００５７】
【図１】図１は、本発明の実施形態に従う、自動ドナーランキングシステムを図示する。
【図２】図２は、本発明の実施形態に従う、所与のスピーチサンプルから音響特性のセットを抽出するために、特性抽出器によってインプリメントされたプロセスを図示する。
【図３】図３は、本発明の実施形態に従う、例示的な男性のスピーカーのＥＧＧ記録からの開放指数値推定を図示する。
【図４】図４は、本発明の実施形態に従う、例示的な男性のスピーカーに対するＥＧＧ信号の１つの周期を特徴付けるＥＧＧ形状を図示する。
【図５】図５は、本発明の実施形態に従う、例示的な女性から女性への音声変換に対する様々な音響特性の例示的なヒストグラムを図示する。
【図６】図６は、本発明の実施形態に従う、マルチレイヤ認識（ＭＬＰ）ネットワークを備える適応システムを図示する。
【図７】図７は、本発明の実施形態に従う、訓練の間に構成される自動ドナーランキングシステムを図示する。
【図８】図８は、本発明の実施形態に従う、訓練セットを生成する方法を図示する。
【図９】図９は、実験に従う、全てのソース−ターゲットスピーカーの組に対する平均のＳ−スコアを列挙する表を示す。
【図１０】図１０は、実験に従う、全てのソース−ターゲットスピーカーの組に対する平均のＳ−スコアを列挙する表を示す。
【図１１】図１１は、実験に従う、全てのソース−ターゲットスピーカーの組に対する平均のＱ−スコアを列挙する表を示す。
【図１２】図１２は、実験に従う、全てのソース−ターゲットスピーカーの組に対する平均のＱ−スコアを列挙する表を示す。
【図１３】図１３は、本発明の実施形態に従う自動ドナー選択アルゴリズムに基づく、１０フォールドの交差妥当性確認およびＭＬＰの検定に対する結果を示す。
【図１】
2008537600.tif 000008
【図２】
2008537600.tif 000009
【図３】
2008537600.tif 000010
【図４】
2008537600.tif 000011
【図５】
2008537600.tif 000012
【図６】
2008537600.tif 000013
【図７】
2008537600.tif 000014
【図８】
2008537600.tif 000015
【図９】
2008537600.tif 000016
【図１０】
2008537600.tif 000017
【図１１】
2008537600.tif 000018
【図１２】
2008537600.tif 000019
【図１３】
2008537600.tif 000020