(57)【要約】【課題】ユーザが希望する声質変換を、容易に行う。【解決手段】声質決定部は、声質変換の目的とする声質の話者である目的話者を決定する目的話者決定方法を指示する決定方法制御値に従い、声質変換に用いる目的話者決定方法を決定し、その目的話者決定方法に従い、目的話者を決定する。本技術は、例えば、参照話者の音声を、目的話者の音声に変換する声質変換に適用することができる。【選択図】図４
2015040903.tif 000002
【特許請求の範囲】
【請求項１】
声質変換の目的とする声質の話者である目的話者を決定する目的話者決定方法を指示する決定方法制御値に従い、前記声質変換に用いる前記目的話者決定方法を決定し、その目的話者決定方法に従い、前記目的話者を決定する声質決定部
を備える音声処理装置。
【請求項２】
声質変換の対象の話者である参照話者の音声から、前記目的話者の声質の音声を生成する音声生成部をさらに備える
請求項１に記載の音声処理装置。
【請求項３】
前記声質決定部は、声質を表す声質パラメータの声質空間内の、複数の話者の音声を用いて求められた前記声質パラメータの分布である声質パラメータ分布を用いて、前記目的話者を決定する
請求項２に記載の音声処理装置。
【請求項４】
前記声質決定部は、前記決定方法制御値に従い、前記参照話者の声質パラメータが属する前記声質パラメータ分布内に分布する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法を、前記声質変換に用いる前記目的話者決定方法に決定する
請求項３に記載の音声処理装置。
【請求項５】
前記声質決定部は、前記決定方法制御値に従い、前記参照話者の声質パラメータが属する前記声質パラメータ分布をランダムにサンプリングし、そのサンプリングの結果得られるサンプリング点に対応する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法を、前記声質変換に用いる前記目的話者決定方法に決定する
請求項４に記載の音声処理装置。
【請求項６】
前記声質決定部は、前記決定方法制御値に従い、前記参照話者の声質パラメータが属する前記声質パラメータ分布内において、前記参照話者の声質パラメータに対応する点を、所定の点に対して点対称となる方向に移動した点に対応する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法を、前記声質変換に用いる前記目的話者決定方法に決定する
請求項４に記載の音声処理装置。
【請求項７】
前記声質決定部は、前記決定方法制御値に従い、前記参照話者の声質パラメータが属する前記声質パラメータ分布とは異なる前記声質パラメータ分布内に分布する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法を、前記声質変換に用いる前記目的話者決定方法に決定する
請求項３に記載の音声処理装置。
【請求項８】
前記声質決定部は、前記決定方法制御値に従い、
声質を表す声質パラメータの声質空間内の、複数の話者の音声を用いて求められた前記声質パラメータの分布である声質パラメータ分布を用いる方法、
又は、前記参照話者の声質パラメータが属する前記声質パラメータ分布とは異なる前記声質パラメータ分布を用いる方法
を、前記声質変換に用いる前記目的話者決定方法に決定する
請求項３に記載の音声処理装置。
【請求項９】
前記声質決定部は、前記決定方法制御値に従い、
前記参照話者の声質パラメータが属する前記声質パラメータ分布をランダムにサンプリングし、そのサンプリングの結果得られるサンプリング点に対応する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法、
前記参照話者の声質パラメータが属する前記声質パラメータ分布内において、前記参照話者の声質パラメータに対応する点を、所定の点に対して点対称となる方向に移動した点に対応する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法、
又は、前記参照話者の声質パラメータが属する前記声質パラメータ分布とは異なる前記声質パラメータ分布内に分布する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法
を、前記声質変換に用いる前記目的話者決定方法に決定する
請求項３に記載の音声処理装置。
【請求項１０】
声質変換の目的とする声質の話者である目的話者を決定する目的話者決定方法を指示する決定方法制御値に従い、前記声質変換に用いる前記目的話者決定方法を決定し、その目的話者決定方法に従い、前記目的話者を決定する
ステップを含む音声処理方法。
【請求項１１】
声質変換の目的とする声質の話者である目的話者を決定する目的話者決定方法を指示する決定方法制御値に従い、前記声質変換に用いる前記目的話者決定方法を決定し、その目的話者決定方法に従い、前記目的話者を決定する声質決定部
として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、音声処理装置、音声処理方法、及び、プログラムに関し、特に、例えば、ユーザが希望する声質変換を、容易に行うことができるようにする音声処理装置、音声処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
近年、ウェアラブルカメラやマイク（マイクロフォン）を用いて、個人の生活を長時間記録し続けるライフログの研究が進んでいる。
【０００３】
マイクには、機器を装着している本人の音声の他、他人の音声が混入することがあり、この場合、ライフログには、ユーザ本人の音声の他、他人の音声も記録される。
【０００４】
ライフログの実用化にあたり、ユーザがライフログを公開することを想定すると、プライバシ保護の観点から、ライフログに記録された他人の音声を加工せずに、そのまま公開することは好ましくない。
【０００５】
他人のプライバシ保護の方法として、ライフログから、他人の音声を消去する方法がある。
【０００６】
しかしながら、ライフログに、例えば、ユーザ本人と他人との会話が記録（録音）されている場合には、他人の音声のみを消去すると、会話が不自然になり（あるいは、会話としての体をなさず）、ライフログの意義を損ねてしまうことがある。
【０００７】
したがって、プライバシ保護の方法として、音声を加工し、会話の文脈情報を保ったまま、他人の個人性だけを消去する個人性消去法の提案が要請されている。音声の個人性消去法としては、例えば、音声の声質を変換する声質変換がある。
【０００８】
例えば、特許文献１には、声質変換にあたり、声質変換の対象の話者である参照話者と、声質変換の目的とする声質の話者である目的話者とのペアについて、そのペアの数だけ、声質変換のための変換係数を持つのではなく、１又は複数の参照話者及び目的話者の少なくとも一方の音声を用いて、声質変換モデルを生成する学習を行い、所定の適応手法を用いて、声質変換モデルを、任意の参照話者及び任意の目的話者の少なくとも一方の音声に適応させて、任意又は特定の参照話者の音声を特定又は任意の目的話者の声質の音声に変換する技術が記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開2008-058696号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、例えば、上述のような会話等の音声の声質変換にあたっては、ユーザが、その会話の場の雰囲気を残すような声質変換を希望する場合や、残さないような声質変換を希望する場合、さらには、会話の場の雰囲気を残すような声質変換の中でも、個人性をある程度残すような声質変換を希望する場合、個人性をなるべく消去するような声質変換を希望する場合等がある。
【００１１】
しかしながら、上述のような、ユーザが希望する声質変換が行われるように、目的話者（の声質）を指示することができるようなユーザI/Fを構成することは、困難であり、また、単に、目的話者（の声質）を指示するのでは、ユーザが希望する声質変換が行われるとは限らない。
【００１２】
本技術は、このような状況に鑑みてなされたものであり、ユーザが希望する声質変換を、容易に行うことができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の音声処理装置、又は、プログラムは、声質変換の目的とする声質の話者である目的話者を決定する目的話者決定方法を指示する決定方法制御値に従い、前記声質変換に用いる前記目的話者決定方法を決定し、その目的話者決定方法に従い、前記目的話者を決定する声質決定部を備える音声処理装置、又は、そのような音声処理装置として、コンピュータを機能させるためのプログラムである。
【００１４】
本技術の音声処理方法は、声質変換の目的とする声質の話者である目的話者を決定する目的話者決定方法を指示する決定方法制御値に従い、前記声質変換に用いる前記目的話者決定方法を決定し、その目的話者決定方法に従い、前記目的話者を決定するステップを含む音声処理方法である。
【００１５】
以上のような本技術においては、声質変換の目的とする声質の話者である目的話者を決定する目的話者決定方法を指示する決定方法制御値に従い、前記声質変換に用いる前記目的話者決定方法が決定され、その目的話者決定方法に従い、前記目的話者が決定される。
【００１６】
なお、音声処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１７】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１８】
本技術によれば、ユーザが希望する声質変換を、容易に行うことができる。
【００１９】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】本技術を適用した音声個人性消去装置の一実施の形態の構成例を示すブロック図である。
【図２】学習部１１の構成例を示すブロック図である。
【図３】学習部１１が行う声質モデル学習の処理を説明するフローチャートである。
【図４】声質変換部１２の構成例を示すブロック図である。
【図５】目的話者決定方法のうちの第１の決定方法の概要を説明するための図である。
【図６】目的話者決定方法のうちの第２の決定方法の概要を説明するための図である。
【図７】第１の決定方法で行われ得る声質変換の概要を説明するための図である。
【図８】目的話者決定方法のうちの第３の決定方法の概要を説明するための図である。
【図９】声質変換部１２が行う声質変換の処理を説明するフローチャートである。
【図１０】サーバクライアントシステムに適用した音声個人性消去装置を説明する図である。
【図１１】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
＜本技術を適用した音声個人性消去装置の一実施の形態＞
【００２２】
図１は、本技術を適用した音声個人性消去装置の一実施の形態の構成例を示すブロック図である。
【００２３】
図１において、音声個人性消去装置は、学習部１１、及び、声質変換部１２を有し、声質変換を行うことにより、音声の個人性を消去する。
【００２４】
学習部１１には、声質変換に用いる声質モデル等を求める学習（以下、声質モデル学習ともいう）に用いられる複数としてのZ人の話者#1,#2,...,#Zの同一の発話の音声が供給される。
【００２５】
学習部１１は、そこに供給されるZ人の話者#1ないし#Zの音声を用いて、声質モデル学習を行うことにより、声質モデル、その他、声質変換に必要な情報を生成し、声質変換部１２に供給する。
【００２６】
声質変換部１２には、学習部１１から、声質モデル等が供給される他、声質変換の対象の話者である参照話者の音声と、声質変換の目的とする声質の話者である目的話者を決定する目的話者決定方法を指示する決定方法制御値wが供給される。
【００２７】
ここで、決定方法制御値wは、例えば、ユーザが図示せぬ操作部を操作することにより入力することや、図示せぬ上位のアプリケーションから与えること等ができる。
【００２８】
声質変換部１２は、決定方法制御値wに従い、声質変換に用いる目的話者決定方法を決定し、その目的話者決定方法に従い、目的話者を決定する。
【００２９】
さらに、声質変換部１２は、学習部１１からの声質モデル等を用いて、参照話者の音声から、目的話者決定方法に従って決定した目的話者の声質の音声を生成することにより、参照話者の音声を、目的話者の音声に声質変換して出力する。
【００３０】
なお、学習部１１に音声が供給されるZ人の話者#1ないし#Zについては、そのZ人の話者#1ないし#Zの中に、参照話者が含まれていてもよいし、含まれていなくてもよい。
【００３１】
ここで、音声の個人性を消去する方法としては、例えば、参照話者の音声の基本周波数を上昇させる方法があり、音声の基本周波数を、一定の周波数まで上昇させることで、音声の個人性を消去することができる。
【００３２】
但し、音声の基本周波数を上昇させる方法では、音声の音色を決める因子である音声の周波数包絡の形状が、基本周波数の上昇とともに変化する。音色を決める周波数包絡の形状は、基本周波数の上昇には比例しないため、音声の基本周波数を上昇させる方法で得られる音声は、音声の自然さが損なわれ、実世界に存在する音声とは程遠い音声になる。
【００３３】
また、音声の個人性の消去は、音声の基本周波数ではなく、音色を変換する声質変換によって行うことができる。音色を変換する声質変換では、例えば、あらかじめ収録した音声の中から、参照話者とする音声と目的話者とする音声とのペアを用いて、音声の周波数包絡を変換するための変換係数が学習される。そして、学習により得られる変換係数を用いて、参照話者の音声が、目的話者の音声に変換される。
【００３４】
かかる声質変換では、ユーザが希望する目的話者の音声を用いて学習を行うことで、ユーザが希望する目的話者の音声への声質変換を行うことができる。
【００３５】
しかしながら、この場合、ユーザが希望する（声質の音声を発する）目的話者を、何らかの方法で指示する必要がある。
【００３６】
また、ユーザが希望する目的話者が指示される場合には、目的話者が一意に特定されるが、音声の個人性の消去では、ユーザが希望する目的話者が、特に存在しない場合があり、この場合、声質変換の目的話者を適切に決定する必要がある。
【００３７】
すなわち、例えば、ユーザA、並びに、他人B及びCの会話について、他人B及びCのプライバシ保護のために、他人B及びCの音声の声質変換を行う場合には、ユーザAが希望する目的話者は、特に存在しない。
【００３８】
しかしながら、この場合に、ユーザAが、他人B及びCの目的話者（他人B及びCの音声の声質変換を行うための目的話者）を指示しなければならないのは、面倒である。
【００３９】
また、他人B及びCの音声の声質変換を行う場合に、他人B及びCの目的話者として、例えば、同一の話者Dが指示されることは、好ましくない。ユーザA及び他人Bの会話と、ユーザA及び他人Cの会話とを区別することが困難となることや、他人B及びCの会話が成立しなくなることがあるからである。
【００４０】
ユーザA、並びに、他人B及びCの会話について、他人B及びCの音声の声質変換を行う場合には、そのユーザA、並びに、他人B及びCの３人の間の会話が成立するように、他人Bの目的話者と他人Cの目的話者とは、異なる話者とすることが必要である。すなわち、他人Bの目的話者として、話者Dを指示し、他人Cの目的話者として、話者Dとは異なる話者Eを指示する必要がある。
【００４１】
また、他人B及びCのプライバシ保護の観点からは、話者Dとしては、他人Bとは音声が似ていない話者を指示することが望ましく、話者Eとしても、他人Cとは音声が似ていない話者を指示することが望ましいことがある。
【００４２】
一方、場合によっては、ユーザAが、他人Bとは声質があまりにも異なる話者を、他人Bの目的話者にすることを希望しないことがある。他人Cについても、同様である。
【００４３】
さらに、ユーザA、並びに、他人B及びCの３人の会話の場の雰囲気を破壊せずに（できるだけ残しつつ）、他人B及びCの音声を、それぞれ、他人B及びCに似ていない音声に声質変換することを、ユーザAが希望することがある。
【００４４】
以上のように、ユーザが希望する声質変換としては、様々な声質変換があるが、ユーザが希望する声質変換を行うために、ユーザが、具体的な目的話者を指示しなければならないことは、面倒である。
【００４５】
また、ユーザが指示した目的話者によって、ユーザが希望する声質変換が行われるかどうかは、実際に、声質変換を行ってみなければ、分からないことがある。
【００４６】
すなわち、例えば、ユーザA、並びに、他人B及びCの３人の会話の場の雰囲気を破壊せずに、他人B及びCの音声を、それぞれ、他人B及びCに似ていない音声に声質変換することを、ユーザAが希望する場合に、ユーザAが、他人B及びCの目的話者として、それぞれ、話者D及びEを指示しても、ユーザAが想像していた声質とは異なる声質への声質変換が行われ、例えば、声質変換後の会話の雰囲気が、元の会話の場の雰囲気とはまったく異なる雰囲気になることがある。
【００４７】
そこで、図１の音声個人性消去装置では、声質変換部１２において、決定方法制御値wに従って、声質変換に用いる目的話者決定方法を決定し、その目的話者決定方法に従って、目的話者を決定することにより、決定方法制御値wを与えるだけで、容易に、ユーザが希望する声質変換を行うことができるようになっている。
【００４８】
＜学習部１１の構成例＞
【００４９】
図２は、図１の学習部１１の構成例を示すブロック図である。
【００５０】
図２において、学習部１１は、Z個の時間周波数変換部２１１，２１２，...，２１Ｚ、Z個の包絡算出部２２１，２２２，...，２２Ｚ、Z個の包絡特徴データベース２３１，２３２，...，２３Ｚ、（１個の）包絡空間生成部２４、Z個の話者適応部２５１，２５２，...，２５Ｚ、（１個の）声質空間生成部２６、及び、（１個の）声質モデルデータベース２７を有する。
【００５１】
＜時間周波数変換部２１ｚ＞
【００５２】
時間周波数変換部２１ｚには、声質モデル学習に用いる話者#zの音声が供給される。
【００５３】
時間周波数変換部２１ｚは、そこに供給される話者#zの音声（信号）を、入力信号x(t)として、その入力信号x(t)の時間周波数情報を分析する。
【００５４】
すなわち、例えば、時間周波数変換部２１ｚは、入力信号x(t)を、固定サイズの（時間）フレームで分割することにより、入力フレーム信号x~(n,l)を得る。
【００５５】
さらに、時間周波数変換部２１ｚは、入力フレーム信号x~(n,l)に、例えば、式（１）の窓関数wana(n)を乗算することにより、式（２）の窓関数適用信号xW (n,l)を得る。
【００５６】
【数１】
2015040903.tif 000003
…（１）
【００５７】
【数２】
2015040903.tif 000004
…（２）
【００５８】
ここで、nは、入力フレーム信号x~(n,l)の時間のインデクスであり、入力フレーム信号x~(n,l)としてのサンプル値がフレームlの先頭から何サンプル点目のサンプル値であるのかを表す。また、nは、n=0,1,...,N-1の値をとり、Nは、フレームのフレームサイズ、すなわち、１フレームの入力フレーム信号x~(n,l)のサンプル数を表す。
【００５９】
lは、（時間）フレームのインデクスであり、入力フレーム信号x~(n,l)が、入力信号x(t)の先頭から何フレーム目の信号であるのかを表す。また、lは、l=0,1,...,L-1の値をとり、Lは、入力信号x(t)から得られた入力フレーム信号x~(n,l)の数、すなわち、フレームの総数（総フレーム数）を表す。
【００６０】
さらに、πは、円周率を表す。
【００６１】
なお、式（１）の窓関数wana(n)は、ハニング窓の平方根であるが、窓関数wana(n)としては、ハニング窓以外の、例えば、ハミング窓や、ブラックマンハリス窓、その他の窓を採用することができる。
【００６２】
また、フレームサイズNは、入力信号x(t)のサンプリング周波数fsでサンプリングを行ったときの、１フレームの時間fsecに相当するサンプル数であり、R(x)を、所定の丸め関数とすると、式N=R(fs×fsec)で表される。
【００６３】
１フレームの時間fsecとしては、例えば、fsec=0.02[秒]を採用することができる。また、丸め関数R(x)としては、例えば、引数xを四捨五入する関数を採用することができる。但し、１フレームの時間fsecや、丸め関数R(x)は、これに限定されるものではない。
【００６４】
また、時間周波数変換部２１ｚは、フレームを、入力信号x(t)上をシフトしながら、入力信号x(t)を、フレームサイズNのフレームの入力フレーム信号x~(n,l)に分割するが、その際のフレームのシフト量としては、例えば、フレームサイズNの50％を採用することができる。
【００６５】
この場合、あるフレームlの入力フレーム信号x~(n,l)の先頭側の半分は、その直前のフレームl-1の後ろ側の半分に一致する。
【００６６】
なお、フレームのシフト量は、フレームサイズNの50％に限定されるものではない。
【００６７】
式（２）の窓関数適用信号xW (n,l)が求められた後、時間周波数変換部２１ｚは、窓関数適用信号xW (n,l)の時間周波数変換を行い、入力複素スペクトルX(k,l)を求める。
【００６８】
すなわち、時間周波数変換部２１ｚは、例えば、式（３）及び式（４）に従って、時間領域の窓関数適用信号xW (n,l)を、周波数領域の入力複素スペクトルX(k,l)に変換する。
【００６９】
【数３】
2015040903.tif 000005
…（３）
【００７０】
【数４】
2015040903.tif 000006
…（４）
【００７１】
ここで、x~W(m,l)は、窓関数適用信号xW (n,l)に対して、ゼロ詰めを行ったゼロ詰め信号を表す。
【００７２】
mは、時間周波数変換の対象となるゼロ詰め信号x~W(m,l)の時間のインデクスであり、ゼロ詰め信号x~W(m,l)としてのサンプル値がフレームlの先頭から何サンプル点目のサンプル値であるのかを表す。また、mは、m=0,1,...,N-1,N,...,M-1の値をとり、Mは、時間周波数変換に用いるサンプル値のサンプル数、すなわち、周波数変換の対象のサンプル数を表す。
【００７３】
kは、入力複素スペクトルX(k,l)の周波数のインデクスであり、入力複素スペクトルX(k,l)としてのサンプル値がフレームlの先頭から何サンプル点目のサンプル値であるのかを表す。また、kは、k=0,1,...,K-1の値をとり、Kは、式K=M/2+1で表される。
【００７４】
さらに、iは、虚数単位（√(-1)）を表す。
【００７５】
なお、式（４）では、時間周波数変換として、DFT（離散フーリエ変換）を採用しているが、時間周波数変換としては、その他、例えば、DCT（離散コサイン変換）や、MDCT（修正離散コサイン変換）その他の、時間領域から周波数領域への変換を採用することができる。
【００７６】
また、式（３）では、窓関数適用信号xW (n,l)に対して、ゼロ詰めを行った信号を、ゼロ詰め信号x~W(m,l)としているが、フレームサイズNが、DFTの対象のサンプル数Mに等しい場合には、窓関数適用信号xW (n,l)が、そのまま、ゼロ詰め信号x~W(m,l)として用いられ、式（４）のDFTの対象となる。
【００７７】
さらに、DFTの対象のサンプル数Mとしては、例えば、フレームサイズN以上の2のべき乗の値のうちの、フレームサイズNに最も近い値を採用することができる。但し、DFTの対象のサンプル数Mとしては、フレームサイズN以上の2のべき乗の値のうちの、フレームサイズNに最も近い値に限定されるものではない。
【００７８】
時間周波数変換部２１ｚは、以上のようにして、話者#zについて求めた入力複素スペクトルX(k,l)を、包絡算出部２２ｚに供給する。
【００７９】
＜包絡算出部２２ｚ＞
【００８０】
包絡算出部２２ｚは、時間周波数変換部２１ｚから供給される話者#zの入力複素スペクトル（以下、単に、スペクトルともいう）X(k,l)から、その微細構造を取り除き、スペクトルX(k,l)の包絡線に関する包絡情報を算出する。
【００８１】
すなわち、包絡算出部２２ｚは、例えば、式（５）及び式（６）に従い、LFCC（線形周波数ケプストラム係数）を算出し、そのLFCCの低次の項（係数）を、時間周波数変換部２１ｚからのスペクトルX(k,l)の包絡情報として抽出する。
【００８２】
【数５】
2015040903.tif 000007
…（５）
【００８３】
【数６】
2015040903.tif 000008
…（６）
【００８４】
ここで、C(j,l)は、スペクトルX(k,l)の包絡情報としてのLFCCを表し、以下、単に、ケプストラムともいう。
【００８５】
jは、ケプストラムC(j,l)の時間のインデクスであり、ケプストラムC(j,l)としてのサンプル値がフレームlの先頭から何サンプル点目のサンプル値であるのかを表す。また、jは、j=0,1,...,Jの値をとり、Jは、スペクトルX(k,l)の包絡情報としてのケプストラムC(j,l)の最大次数を表す。
【００８６】
なお、スペクトルX(k,l)の包絡情報としてのケプストラムC(j,l)の最大次数Jとしては、例えば、12を採用することができるが、スペクトルX(k,l)の包絡情報としてのケプストラムC(j,l)の最大次数Jは、12に限定されるものではない。
【００８７】
また、スペクトルX(k,l)の包絡情報としては、LFCCの他、例えば、LPCC（線形予測ケプストラム係数）や、メル一般化ケプストラム、その他のケプストラムや、ケプストラム以外の、スペクトルX(k,l)の包絡線を表す情報を採用することができる。
【００８８】
包絡算出部２２ｚは、以上のようにして、話者#zについて求めたスペクトルX(k,l)の包絡情報としてのケプストラムC(j,l)を、包絡特徴量データベース２３ｚに供給する。
【００８９】
包絡特徴量データベース２３ｚは、包絡算出部２２ｚから供給される、話者#zの包絡情報としてのケプストラムC(j,l)を記憶する。、
【００９０】
ここで、以下、話者#zの包絡情報としてのケプストラムC(j,l)を、Cz(j,l)とも記載する。
【００９１】
また、話者#zのケプストラムCz(j,l)のフレーム数を、Lzで表す。
【００９２】
＜包絡空間生成部２４＞
【００９３】
包絡空間生成部２４は、包絡特徴量データベース２３１ないし２３Ｚそれぞれに記憶された包絡情報としてのケプストラムC1(j,l)ないしCZ(j,l)を用いて、包絡情報をモデル化した包絡情報モデルとしての、例えば、UBM-GMM(Universal Background Model - Gaussian Mixture Model)の学習（生成）を行う。
【００９４】
すなわち、包絡空間生成部２４は、包絡特徴量データベース２３１ないし２３Ｚそれぞれについて、包絡特徴量データベース２３ｚに記憶されたLzフレーム（個）のケプストラムCz(j,l)から、L~/Z（＜Lz）フレームのケプストラムCz(j,l)を、ランダムにサンプリングする。
【００９５】
Ｚ個の包絡特徴量データベース２３１ないし２３Ｚそれぞれについて、L~/ZフレームのケプストラムCz(j,l)が、ランダムにサンプリングされることで、合計で、L~フレームのケプストラムCz(j,l)が得られる。
【００９６】
ここで、包絡特徴量データベース２３ｚに記憶されたLzフレームのケプストラムCz(j,l)からサンプリングされた話者#zのL~/ZフレームのケプストラムCz(j,l)を、話者ケプストラムC~z(j,l)ともいう。
【００９７】
また、話者#1ないし#ZそれぞれのL~/ZフレームのケプストラムCz(j,l)の集合であるL~フレームのケプストラムCz(j,l)を、以下、全話者ケプストラムC~(j,l)ともいう。
【００９８】
各話者#zの話者ケプストラムC~z(j,l)は、L~/Zフレームだけ存在するので、話者ケプストラムC~z(j,l)のインデクスlは、l=0,1,...,L~/Z-1の値をとる。
【００９９】
全話者ケプストラムC~(j,l)は、L~フレームだけ存在するので、全話者ケプストラムC~(j,l)のインデクスlは、l=0,1,...,L~-1の値をとる。
【０１００】
包絡空間生成部２４では、全話者ケプストラムC~(j,l)を用いて、UBM-GMMの学習が、例えば、EM(Expectation Maximum)アルゴリズムに従って行われ、これにより、式（７）、式（８）、式（９）、式（１０）、及び、式（１１）に従って、UBM-GMMのモデルパラメータθ'p＝{μ'p，Σ'p，π'p}が求められる。
【０１０１】
【数７】
2015040903.tif 000009
…（７）
【０１０２】
【数８】
2015040903.tif 000010
…（８）
【０１０３】
【数９】
2015040903.tif 000011
…（９）
【０１０４】
【数１０】
2015040903.tif 000012
…（１０）
【０１０５】
【数１１】
2015040903.tif 000013
…（１１）
【０１０６】
ここで、pは、GMM(UBM-GMM)を構成するガウス分布のインデクスであり、p=0,1,2,...,P-1の値をとる。Pは、GMMを構成するガウス分布の総数（GMMの混合数）を表す。
【０１０７】
θ'p＝{μ'p，Σ'p，π'p}は、GMMのp番目（先頭を0番目とする）のガウス分布のパラメータを表す。μ'p及びΣ'pは、GMMのp番目のガウス分布の平均ベクトル、及び、共分散行列を、それぞれ表し、π'pは、GMMのp番目のガウス分布の重み（ここでは、全話者ケプストラムC~(j,l)が観測されるときのp番目のガウス分布の寄与率）を表す。
【０１０８】
N（C~(j,l)｜μ'p，Σ'p）は、p番目のガウス分布N（μ'p，Σ'p）（平均ベクトルがμ'p，で、共分散行列がΣ'pであるガウス分布）において、全話者ケプストラムC~(j,l)が観測される確率を表す。
【０１０９】
上付きのTは、転置を表す。
【０１１０】
包絡空間生成部２４は、モデルパラメータθ'p＝{μ'p，Σ'p，π'p}の初期値として、例えば、ランダムな値を設定し、全話者ケプストラムC~(j,l)を、UBM-GMMの学習用のデータとして用い、式（７）ないし式（１１）の演算を、例えば、あらかじめ定められた学習回数Uだけ繰り返すことで、包絡情報としてのケプストラムC1(j,l)ないしCZ(j,l)をモデル化した包絡情報モデルとしてのUBM-GMMを生成する学習を行う。
【０１１１】
以上のようにして得られるUBM-GMMは、包絡情報としてのケプストラムCz(j,l)の包絡空間における、様々な話者の包絡情報の分布を表す。
【０１１２】
包絡空間生成部２４は、以上のようにして生成した包絡情報モデルとしてのUBM-GMM、すなわち、UBM-GMMのモデルパラメータθ'p＝{μ'p，Σ'p，π'p}を、話者適応部２５１ないし２５Ｚ、及び、声質変換部１２に供給する。
【０１１３】
さらに、包絡空間生成部２４は、話者#zのL~/Zフレームの話者ケプストラムC~z(j,l)を、話者適応部２５ｚに供給する。
【０１１４】
なお、学習回数Uとしては、例えば、200、その他の、モデルパラメータθ'p＝{μ'p，Σ'p，π'p}の収束に十分な回数を採用することができる。
【０１１５】
また、GMMの学習、すなわち、式（７）ないし式（１１）の演算は、モデルパラメータθ'p＝{μ'p，Σ'p，π'p}が収束するまで行うことができる。
【０１１６】
さらに、θ'p＝{μ'p，Σ'p，π'p}の初期値については、ランダムな値を設定する他、例えば、k-means法などのハードクラスタリングの手法を用いて設定することができる。
【０１１７】
＜話者適応部２５ｚ＞
【０１１８】
話者適応部２５ｚは、包絡空間生成部２４からの話者#zのL~/Zフレームの話者ケプストラムC~z(j,l)を用いて、同じく、包絡空間生成部２５ｚからの包絡情報モデルとしてのUBM-GMMの話者適応を、例えば、MAP適応によって行うことで、話者#zに適応したGMMであるMAP-GMMを生成する。
【０１１９】
すなわち、話者適応部２５ｚは、式（１２）、式（１３）、式（１４）、式（１５）、式（１６）、式（１７）、及び、式（１８）を演算することで、UBM-GMMの話者適応を行い、各話者#zに適応したMAP-GMMを生成する。
【０１２０】
【数１２】
2015040903.tif 000014
…（１２）
【０１２１】
【数１３】
2015040903.tif 000015
…（１３）
【０１２２】
【数１４】
2015040903.tif 000016
…（１４）
【０１２３】
【数１５】
2015040903.tif 000017
…（１５）
【０１２４】
【数１６】
2015040903.tif 000018
…（１６）
【０１２５】
【数１７】
2015040903.tif 000019
…（１７）
【０１２６】
【数１８】
2015040903.tif 000020
…（１８）
【０１２７】
ここで、適応係数εには、適当な値が、あらかじめ設定される。
【０１２８】
μz,p及びΣz,pは、話者#zに適応したMAP-GMMのp番目のガウス分布の平均ベクトル、及び、共分散行列を、それぞれ表す。
【０１２９】
話者適応部２５ｚは、以上のようにして、話者#zに適応したMAP-GMMを生成すると、そのMAP-GMMのモデルパラメータである平均ベクトルμz,pを用い、式（１９）に従って、MAP-GMMを構成するP個のガウス分布の平均ベクトルμz,0，μz,1，...，μz,P-1をコンポーネントとする話者スーパベクトルSzを、話者#zの声質を表す声質パラメータとして生成し、声質空間生成部２６に供給する。
【０１３０】
【数１９】
2015040903.tif 000021
…（１９）
【０１３１】
＜声質空間生成部２６＞
【０１３２】
声質空間生成部２６は、声質パラメータの空間である声質空間での、話者適応部２５ｚから供給される声質パラメータとしての話者スーパベクトルSzの分布を、声質変換に用いる声質モデルとして生成する。
【０１３３】
すなわち、声質空間生成部２６は、話者適応部２５１ないし２５Ｚから供給される声質パラメータとしての話者スーパベクトルS1ないしSZを、所定のクラス分け基準に従って、クラス分けし、各クラスの話者スーパベクトルSzの分布を、声質モデルとして生成する。
【０１３４】
具体的には、例えば、声質空間生成部２６は、式（２０）及び式（２１）に従って、声質モデルとしての各クラス#rの話者スーパベクトルSzの分布であるガウス分布の平均値（平均ベクトル）ψrと、共分散（共分散行列）φrとを求める。
【０１３５】
【数２０】
2015040903.tif 000022
…（２０）
【０１３６】
【数２１】
2015040903.tif 000023
…（２１）
【０１３７】
ここで、クラス#rは、r=0,1,...,R-1の値をとり、Rは、クラスの総数を表す。
【０１３８】
Arは、クラス#rに属する話者スーパベクトルSzの集合を表す。
【０１３９】
Zrは、クラス#rに属する話者スーパベクトルSzの数を表し、Zrの総和(Z0+Z1+...+ZR-1)は、話者#1ないし#Zの総数Zに等しい。
【０１４０】
声質空間生成部２６は、以上のようにして求めたクラスごとの声質モデルとしての話者スーパベクトルSzのガウス分布（声質パラメータ分布）の平均値ψr及び共分散φrを、声質モデルデータベース２７に供給する。
【０１４１】
声質モデルデータベース２７では、声質空間生成部２６からのクラスごとの声質モデルとしての話者スーパベクトルSzのガウス分布の平均値ψr及び共分散φrが記憶される。
【０１４２】
なお、話者スーパベクトルSzをクラス分けするクラスとしては、例えば、話者#zが、男性又は女性であることと、話者#zが、東洋人又は西洋人であることとの組み合わせを、クラス分け基準として、R=4(＝2×2)個のクラスを採用することができる。
【０１４３】
但し、話者スーパベクトルSzをクラス分けするクラスの総数Rや、クラス分け基準は、これに限定されるものではない。
【０１４４】
＜学習部１１の処理＞
【０１４５】
図３は、図２の学習部１１が行う声質モデル学習の処理を説明するフローチャートである。
【０１４６】
ステップＳ１１において、時間周波数変換部２１ｚは、声質モデル学習に用いる話者#zの音声を取得し、その話者#zの音声（信号）を、入力信号x(t)として、その入力信号x(t)を、式（１）ないし式（４）に従って周波数変換することで、スペクトルX(k,l)を求める。
【０１４７】
そして、時間周波数変換部２１ｚは、スペクトルX(k,l)を、包絡算出部２２ｚに供給して、処理は、ステップＳ１１からステップＳ１２に進む。
【０１４８】
ステップＳ１２では、包絡算出部２２ｚは、時間周波数変換部２１ｚからのスペクトルX(k,l)の包絡情報としてのケプストラムC(j,l)を、式（５）及び式（６）に従って求め、包絡特徴量データベース２３ｚに供給して記憶させ、処理は、ステップＳ１３に進む。
【０１４９】
ステップＳ１３では、包絡空間生成部２４は、包絡特徴量データベース２３１ないし２３Ｚそれぞれについて、包絡特徴量データベース２３ｚに記憶されたケプストラムCz(j,l)から、L~/Zフレーム（サンプル）のケプストラムCz(j,l)を、話者ケプストラムC~z(j,l)として、ランダムにサンプリングすることで、合計で、L~フレームの話者ケプストラムC~z(j,l)を、UBM-GMMの学習に用いる学習データとなる全話者ケプストラムC~(j,l)として求める。
【０１５０】
その後、処理は、ステップＳ１３からステップＳ１４に進み、包絡空間生成部２４は、全話者ケプストラムC~(j,l)を用い、式（７）ないし式（１１）に従って、UBM-GMMの学習を行うことで、包絡情報モデルとしてのUBM-GMMを生成する。
【０１５１】
そして、包絡空間生成部２４は、包絡情報モデルとしてのUBM-GMMを、話者適応部２５１ないし２５Ｚ、及び、声質変換部１２に供給するとともに、話者#zのL~/Zフレームの話者ケプストラムC~z(j,l)を、話者適応部２５ｚに供給して、処理は、ステップＳ１４からステップＳ１５に進む。
【０１５２】
ステップＳ１５では、話者適応部２５ｚは、包絡空間生成部２４からの話者#zのL~/Zフレームの話者ケプストラムC~z(j,l)を用いて、同じく、包絡空間生成部２５ｚからの包絡情報モデルとしてのUBM-GMMの話者適応を、式（１２）ないし式（１８）に従って行うことで、話者#zに適応したMAP-GMMを生成し、処理は、ステップＳ１６に進む。
【０１５３】
ステップＳ１６では、話者適応部２５ｚは、話者#zに適応したMAP-GMMのモデルパラメータである平均ベクトルμz,pを用い、式（１９）に従って、話者#zの声質パラメータとしての話者スーパベクトルSzを生成し、声質空間生成部２６に供給して、処理は、ステップＳ１７に進む。
【０１５４】
ステップＳ１７では、声質空間生成部２６は、話者適応部２５１ないし２５Ｚから供給される声質パラメータとしての話者スーパベクトルS1ないしSZをクラス分けし、各クラス#rの話者スーパベクトルSzを用い、式（２０）及び式（２１）に従って、クラス#rごとの話者スーパベクトルSzの平均値ψr及び共分散φrを、声質モデルとして求める。
【０１５５】
そして、声質空間生成部２６は、声質モデルとしてのクラス#rごとの話者スーパベクトルSzのガウス分布の平均値ψr及び共分散φrを、声質モデルデータベース２７に供給して、処理は、ステップＳ１７からステップＳ１８に進む。
【０１５６】
ステップＳ１８では、声質モデルデータベース２７が、声質空間生成部２６からの声質モデルとしてのクラス#rごとの話者スーパベクトルSzのガウス分布の平均値ψr及び共分散φrを記憶し、声質モデル学習の処理は終了する。
【０１５７】
なお、学習部１１において、声質モデル学習は、例えば、声質変換部１２において声質変換を行うときにリアルタイムで行うことができる。
【０１５８】
また、学習部１１において、声質モデル学習は、例えば、あらかじめ行うことができる。
【０１５９】
学習部１１において、声質モデル学習を、あらかじめ行う場合には、その声質モデル学習で得られる声質モデル、及び、包絡情報モデルとしてのUBM-GMMを、声質変換部１２に、あらかじめ提供しておくことにより、図１の音声個人性消去装置は、学習部１１を設けずに、声質変換部１２だけで構成することができる。
【０１６０】
＜声質変換部１２の構成例＞
【０１６１】
図４は、図１の声質変換部１２の構成例を示すブロック図である。
【０１６２】
図４において、声質変換部１２は、時間周波数変換部３１、包絡算出部３２、話者適応部３３、声質決定部３４、及び、音声生成部３５を有し、学習部１１からの声質モデル等を用いて、参照話者の音声の周波数包絡を変換することで、参照話者の音声の声質変換を行う。
【０１６３】
＜時間周波数変換部３１＞
【０１６４】
時間周波数変換部３１には、参照話者の音声が供給される。
【０１６５】
時間周波数変換部３１は、図２の時間周波数変換部２１ｚと同様にして、参照話者の音声の周波数変換を行うことで、スペクトルX(k,l)を求め、包絡算出部３２、及び、音声生成部３５に供給する。
【０１６６】
＜包絡算出部３２＞
【０１６７】
包絡算出部３２は、図２の包絡算出部２２ｚと同様にして、時間周波数変換部３１からのスペクトルX(k,l)から、参照話者の包絡情報としてのケプストラムC(j,l)を求め、話者適応部３３に供給する。
【０１６８】
ここで、参照話者の包絡情報としてのケプストラムC(j,l)を、以下、参照話者ケプストラムCorg(j,l)ともいう。
【０１６９】
また、参照話者ケプストラムCorg(j,l)のフレーム数を、Lorgで表すこととする。参照話者ケプストラムCorg(j,l)のフレームのインデクスlは、l=0,1,...,Lorg-1の値をとる。
【０１７０】
＜話者適応部３３＞
【０１７１】
話者適応部３３には、包絡算出部３２から、参照話者の包絡情報としての参照話者ケプストラムCorg(j,l)が供給される他、学習部１１（図２）の包絡空間生成部２４から、包絡情報モデルとしてのUBM-GMM（のモデルパラメータθ'p＝{μ'p，Σ'p，π'p}）が供給される。
【０１７２】
話者適応部３３は、図２の話者適応部２５ｚと同様にして、包絡算出部３２からの参照話者ケプストラムCorg(j,l)を用いて、学習部１１からのUBM-GMMの話者適応を行うことで、参照話者に適応したMAP-GMMを生成する。
【０１７３】
さらに、話者適応部３３は、図２の話者適応部２５ｚと同様にして、参照話者に適応したMAP-GMMのモデルパラメータである平均ベクトルμorg,pを用い、MAP-GMMを構成するP個のガウス分布の平均ベクトルμorg,0，μorg,1，...，μorg,P-1をコンポーネントとする話者スーパベクトルSorg＝［μorg,0T，μorg,1T，...，μorg,P-1T］Tを、参照話者の声質を表す声質パラメータとして生成し、包絡算出部３２からの参照話者ケプストラムCorg(j,l)とともに、声質決定部３４に供給する。
【０１７４】
＜声質決定部３４＞
【０１７５】
声質決定部３４には、話者適応部３３から、参照話者の声質パラメータとしての話者スーパベクトルSorg＝［μorg,0T，μorg,1T，...，μorg,P-1T］T、及び、参照話者ケプストラムCorg(j,l)が供給される他、決定方法制御値wが供給される。
【０１７６】
さらに、声質決定部３４には、学習部１１（図２）の声質モデルデータベース２７に記憶された声質モデルとしてのクラス#rごとの話者スーパベクトルSzの平均値ψr及び共分散φr（話者スーパベクトルSzの分布（声質パラメータ分布）を規定する平均値ψr及び共分散φr）が供給される。
【０１７７】
声質決定部３４は、決定方法制御値wに従い、声質変換に用いる目的話者決定方法を、注目する注目決定方法として決定する。
【０１７８】
そして、声質決定部３４は、注目決定方法に従って、目的話者を決定する。
【０１７９】
すなわち、声質決定部３４は、声質モデルとしてのクラス#rごとの話者スーパベクトルSzの平均値ψr及び共分散φr、並びに、参照話者の声質パラメータとしての話者スーパベクトルSorgを用い、注目決定方法に従って、目的話者の声質パラメータとしての話者スーパベクトルStarを決定する（求める）。
【０１８０】
ここで、本実施の形態では、目的話者決定方法として、例えば、第１の決定方法、第２の決定方法、及び、第３の決定方法の３通りの決定方法が用意されている。
【０１８１】
そして、決定方法制御値wは、例えば、w=0,1,2の値をとり、声質決定部３４は、決定方法制御値wに従って、注目決定方法を、第１ないし第３の決定方法のうちのいずれかに決定する。
【０１８２】
例えば、決定方法制御値wが0である場合には、第１の決定方法が、注目決定方法に決定される。また、例えば、決定方法制御値wが1である場合には、第２の決定方法が、注目決定方法に決定され、決定方法制御値wが2である場合には、第３の決定方法が、注目決定方法に決定される。
【０１８３】
第１の決定方法は、参照話者の声質パラメータとしての話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布（声質パラメータ分布）をランダムにサンプリングし、そのサンプリングの結果得られるサンプリング点に対応する話者スーパベクトルS（が表す声質）を、目的話者の声質パラメータとしての話者スーパベクトルStarに決定する方法である。
【０１８４】
第１の決定方法では、例えば、式（２２）及び式（２３）に従って、参照話者の声質パラメータとしての話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布を用いて、目的話者の声質パラメータとしての話者スーパベクトルStarが決定される。
【０１８５】
【数２２】
2015040903.tif 000024
…（２２）
【０１８６】
【数２３】
2015040903.tif 000025
…（２３）
【０１８７】
ここで、式（２２）は、話者スーパベクトルStarが、平均値がψrで、共分散がφrのガウス分布N（ψr，φr）から生成されることを表す。
【０１８８】
また、話者スーパベクトルStarのコンポーネントになっているμtar,pは、P個のガウス分布を有するGMMのp番目のガウス分布の平均ベクトルを表す。
【０１８９】
第２の決定方法は、参照話者の声質パラメータとしての話者スーパベクトルSorgが属するクラス#rとは異なるクラス#r'の話者スーパベクトルSzの分布（声質パラメータ分布）をランダムにサンプリングし、そのサンプリングの結果得られるサンプリング点に対応する話者スーパベクトルS（が表す声質）を、目的話者の声質パラメータとしての話者スーパベクトルStar（が表す声質）に決定する方法である。
【０１９０】
第２の決定方法では、例えば、式（２４）及び式（２５）に従って、参照話者の声質パラメータとしての話者スーパベクトルSorgが属するクラス#rとは異なるクラス#r'の話者スーパベクトルSzの分布を用いて、目的話者の声質パラメータとしての話者スーパベクトルStarが決定される。
【０１９１】
【数２４】
2015040903.tif 000026
…（２４）
【０１９２】
【数２５】
2015040903.tif 000027
…（２５）
【０１９３】
第３の決定方法は、参照話者の声質パラメータとしての話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布（声質パラメータ分布）内において、参照話者の声質パラメータとしての話者スーパベクトルSorgに対応する点を、所定の点に対して点対称となる方向に移動した点に対応する話者スーパベクトルS（が表す声質）を、目的話者の声質パラメータとしての話者スーパベクトルStarに決定する方法である。
【０１９４】
第３の決定方法では、例えば、式（２６）、式（２７）、及び、式（２８）に従って、参照話者の話者スーパベクトルSorgから見て、参照話者の話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの平均値ψrに対して点対称の方向の点であって、参照話者の話者スーパベクトルSorgから、参照話者の話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布の分散φrによって決まる距離Drにある点に対応する話者スーパベクトルSが、目的話者の声質パラメータとしての話者スーパベクトルStarに決定される。
【０１９５】
【数２６】
2015040903.tif 000028
…（２６）
【０１９６】
【数２７】
2015040903.tif 000029
…（２７）
【０１９７】
【数２８】
2015040903.tif 000030
…（２８）
【０１９８】
ここで、式（２６）によれば、共分散φrの固有値erを次元方向に加算して得られる加算値の平方根が、距離Drとして用いられる。
【０１９９】
また、||x||Fは、xのフロベニウスノルムを表す。
【０２００】
第１及び第３の決定方法では、いずれも、参照話者の声質パラメータとしての話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布（声質パラメータ分布）内に分布する話者スーパベクトルSが、目的話者の声質パラメータとしての話者スーパベクトルStarに決定されるので、参照話者の音声の発話の場の雰囲気をある程度保存しつつ（残しつつ）、参照話者の音声の個人性を消去する声質変換を行うことができる。
【０２０１】
また、第１の決定方法では、参照話者の声質パラメータとしての話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布（声質パラメータ分布）をランダムにサンプリングしたサンプリング点に対応する話者スーパベクトルSを、目的話者の声質パラメータとしての話者スーパベクトルStarに決定するので、参照話者の音声の発話の場に存在する各話者の声質パラメータとしての話者スーパベクトルの分布が大きく変わる可能性は小さい。
【０２０２】
第２の決定方法では、参照話者の声質パラメータとしての話者スーパベクトルSorgが属するクラス#rとは異なるクラス#r'の話者スーパベクトルSzの分布（声質パラメータ分布）内に分布する話者スーパベクトルSが、目的話者の声質パラメータとしての話者スーパベクトルStarに決定されるので、参照話者の音声の発話の場の雰囲気を保存せず、かつ、参照話者の音声の個人性を、強力に消去する声質変換を行うことができる。
【０２０３】
第３の決定方法では、参照話者の声質パラメータとしての話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布内において、参照話者の声質パラメータとしての話者スーパベクトルSorgに対応する点を所定の点に対して点対称となる方向に移動した点に対応する話者スーパベクトルSを、目的話者の声質パラメータとしての話者スーパベクトルStarに決定するので、参照話者の音声の発話の場の雰囲気を保存し、かつ、参照話者の音声の個人性を、強力に消去する声質変換を行うことができる。
【０２０４】
さらに、第３の決定方法では、目的話者の話者スーパベクトルStarが、参照話者の話者スーパベクトルSorgに対応する点を所定の点に対して点対称となる方向に移動した点に対応する話者スーパベクトルSに決定されるので、参照話者の話者スーパベクトルSorgが異なる場合には、目的話者の話者スーパベクトルStarも異なることになり、したがって、異なる参照話者については、異なる話者が目的話者に決定される。その結果、異なる参照話者に対して、同一の話者が目的話者に決定されることを防止することができる。
【０２０５】
なお、参照話者の話者スーパベクトルSorgが属するクラス#rは、例えば、参照話者等のユーザが入力することができる。
【０２０６】
また、参照話者の話者スーパベクトルSorgが属するクラス#rについては、声質決定部３４において、参照話者の音声のピッチ周波数に基づいて、参照話者が男性及び女性のいずれであるかを認識するとともに、声質変換部１２に、GPS(Global Positioning System)等を内蔵させ、そのGPSから得られる声質変換部１２が存在する地域の情報gを関数f(g)に与えて得られる、声質変換部１２が存在する地域が、西洋人及び東洋人のいずれが生活する地域であるかを認識した上で、それらの認識結果に基づいて、参照話者の話者スーパベクトルSorgが属するクラス#rを決定することができる。
【０２０７】
その他、例えば、声質決定部３４において、平均値ψrが、参照話者の話者スーパベクトルSorgに最も近い声質モデルとしての話者スーパベクトルSzの分布のクラス#rを、参照話者の話者スーパベクトルSorgが属するクラスに決定することができる。
【０２０８】
声質決定部３４は、目的話者の声質パラメータとしての話者スーパベクトルStarを決定すると、その話者スーパーベクトルStarから、目的話者の包絡情報としてのケプストラム（以下、目的話者ケプストラムともいう）Ctar(j,l)を、例えば、式（２９）、式（３０）、式（３１）、式（３１）、式（３２）、式（３３）、式（３４）、及び、式（３５）に従って求め、話者適応部３３からの参照話者ケプストラムCorg(j,l)とともに、音声生成部３５に供給する。
【０２０９】
【数２９】
2015040903.tif 000031
…（２９）
【０２１０】
【数３０】
2015040903.tif 000032
…（３０）
【０２１１】
【数３１】
2015040903.tif 000033
…（３１）
【０２１２】
【数３２】
2015040903.tif 000034
…（３２）
【０２１３】
【数３３】
2015040903.tif 000035
…（３３）
【０２１４】
【数３４】
2015040903.tif 000036
…（３４）
【０２１５】
【数３５】
2015040903.tif 000037
…（３５）
【０２１６】
＜音声生成部３５＞
【０２１７】
音声生成部３５は、包絡変換部４１、及び、周波数時間変換部４２を有し、参照話者の音声（のスペクトル）から、目的話者の声質の音声を生成して出力する。
【０２１８】
＜包絡変換部４１＞
【０２１９】
包絡変換部４１には、声質決定部３４から、目的話者ケプストラムCtar(j,l)、及び、参照話者ケプストラムCorg(j,l)が供給される。さらに、包絡変換部４１には、時間周波数変換部３１から、参照話者（の音声）のスペクトルX(k,l)が供給される。
【０２２０】
包絡変換部４１は、目的話者ケプストラムCtar(j,l)、及び、参照話者ケプストラムCorg(j,l)を用いて、参照話者のスペクトルX(k,l)の包絡を変換する。
【０２２１】
包絡変換部４１は、参照話者のスペクトルX(k,l)の変換に使用する周波数包絡を得るために、参照話者ケプストラムCorg(j,l)、及び、目的話者ケプストラムCtar(j,l)の高域をゼロ詰めし、そのゼロ詰め後の参照話者ケプストラムCorg(j,l)、及び、目的話者ケプストラムCtar(j,l)を、式（３６）及び式（３７）に従って、ケプストラム領域(時間領域)の信号から周波数領域の信号に再変換する。
【０２２２】
【数３６】
2015040903.tif 000038
…（３６）
【０２２３】
【数３７】
2015040903.tif 000039
…（３７）
【０２２４】
ここで、Vorg(k,l)は、参照話者の周波数領域上の包絡情報を表し、Vtar(k,l)は、目的話者の周波数領域上の包絡情報を表す。
【０２２５】
包絡変換部４１は、包絡情報Vorg(k,l)及びVtar(k,l)を用い、式（３８）に従って、参照話者のスペクトルX(k,l)を、目的話者（の音声）のスペクトルY(k,l)に変換する。
【０２２６】
【数３８】
2015040903.tif 000040
…（３８）
【０２２７】
包絡変換部４１は、以上のようにして、目的話者のスペクトルY(k,l)を求めると、その目的話者のスペクトルY(k,l)を、周波数時間変換部４２に供給する。
【０２２８】
＜周波数時間変換部４２＞
【０２２９】
周波数時間変換部４２は、包絡変換部４１からの目的話者のスペクトルY(k,l)の周波数時間変換を、式（３９）及び式（４０）に従って行い、出力フレーム信号y~(n,l)を得る。
【０２３０】
【数３９】
2015040903.tif 000041
…（３９）
【０２３１】
【数４０】
2015040903.tif 000042
…（４０）
【０２３２】
ここで、conj(x)は、xの虚数成分の符号を反転することを表す。
【０２３３】
また、周波数時間変換部４２の周波数時間変換としては、時間周波数変換部３１の時間周波数変換の逆変換が採用される。本実施の形態では、時間周波数変換部３１の時間周波数変換として、図２の時間周波数変換部２１ｚと同様のDFT（式（４））が採用されているため、周波数時間変換部４２の周波数時間変換としては、DFTの逆変換のIDFT （逆離散フーリエ変換）（式（４０））が採用される。
【０２３４】
周波数時間変換部４２は、出力フレーム信号y~(n,l)を得た後、式（４１）に従って、窓関数wsyn(n)を乗算し、さらに、式（４２）に従って、オーバーラップ加算を行うことでフレーム合成を行う。そして、周波数時間変換部４２は、フレーム合成の結果得られる目的話者の音声（信号）ycurr(n+lN)を、声質変換結果（参照話者の音声の声質変換の結果）として出力する。
【０２３５】
【数４１】
2015040903.tif 000043
…（４１）
【０２３６】
【数４２】
2015040903.tif 000044
…（４２）
【０２３７】
ここで、ycurr(n+lN)、及び、yprev(n+lN)は、いずれも、声質変換結果としての音声を表すが、yprev(n+lN)は、フレームlの音声である出力フレーム信号y~(n,l)の直前までの声質変換結果としての音声を表し、ycurr(n+lN)は、フレームlの音声である出力フレーム信号y~(n,l)までの声質変換結果としての音声を表す。
【０２３８】
また、式（４１）の窓関数wsyn(n)は、時間周波数変換部３１（及び時間周波数変換部２１ｚ）で用いられる式（１）の窓関数wana(n)と同一の窓関数であるが、窓関数wsyn(n)としては、その他、例えば、ハミング窓や矩形窓等を採用することができる。
【０２３９】
＜第１ないし第３の決定方法＞
【０２４０】
図５は、目的話者決定方法のうちの第１の決定方法の概要を説明するための図である。
【０２４１】
第１の決定方法では、参照話者の話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布（図中、点線で示す）がランダムにサンプリングされ、そのサンプリングの結果得られるサンプリング点に対応する話者スーパベクトルSが、目的話者の話者スーパベクトルStarに決定される。
【０２４２】
したがって、第１の決定方法によれば、声質変換によって、参照話者の音声の発話の場に存在する各話者の話者スーパベクトルの分布が大きく変わる可能性は小さい。
【０２４３】
すなわち、目的話者の話者スーパベクトルStarは、参照話者の話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布内からサンプリングされるため、そのような目的話者の話者スーパベクトルStarを用いて行われる声質変換では、参照話者の音声の発話の場の雰囲気が保存される。
【０２４４】
したがって、第１の決定方法によれば、参照話者の音声の発話の場の雰囲気を破壊せずに、音声の個人性を消去する声質変換を行うことができる。
【０２４５】
図６は、目的話者決定方法のうちの第２の決定方法の概要を説明するための図である。
【０２４６】
第２の決定方法は、参照話者の話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布（図中、点線で示す）とは異なるクラス#r'の話者スーパベクトルSzの分布がランダムにサンプリングされ、そのサンプリングの結果得られるサンプリング点に対応する話者スーパベクトルSが、目的話者の話者スーパベクトルStarに決定される。
【０２４７】
したがって、第２の決定方法では、目的話者の話者スーパベクトルStarは、参照話者の話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布の外側からサンプリングされるため、そのような目的話者の話者スーパベクトルStarを用いて行われる声質変換では、参照話者の音声の発話の場の雰囲気が破壊され、さらに、声質変換後の音声は、参照話者とは大きく声質が異なる音声になる。
【０２４８】
以上から、第２の決定方法によれば、参照話者の音声の発話の場の雰囲気を保存せず、かつ、参照話者の音声の個人性を、強力に消去する声質変換を行うことができる。
【０２４９】
図７は、第１の決定方法で行われ得る声質変換の概要を説明するための図である。
【０２５０】
第１の決定方法では、参照話者の話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布（図中、点線で示す）がランダムにサンプリングされ、そのサンプリングの結果得られるサンプリング点に対応する話者スーパベクトルSが、目的話者の話者スーパベクトルStarに決定されるため、複数の参照話者に対して、同一の声質（、又は、似ている声質）の話者が、目的話者に決定されることが、可能性としてある。
【０２５１】
この場合、複数の参照話者の音声が、声質変換後に区別することが困難になることがある。
【０２５２】
第３の決定方法によれば、以上のように、複数の参照話者に対して、同一の声質の話者が、目的話者に決定されることを防止することができる。
【０２５３】
図８は、目的話者決定方法のうちの第３の決定方法の概要を説明するための図である。
【０２５４】
第３の決定方法では、参照話者の話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布（図中、点線で示す）内において、参照話者の話者スーパベクトルSorgから見て、クラス#rの話者スーパベクトルSzの分布の平均値ψrに対して点対称の方向の点であって、参照話者の話者スーパベクトルSorgから、クラス#rの話者スーパベクトルSzの分布の分散φrによって決まる距離Drにある点に対応する話者スーパベクトルSが、目的話者の話者スーパベクトルStarに決定される。
【０２５５】
以上のように、第３の決定方法では、参照話者の話者スーパベクトルSorgが属するクラス#rの話者スーパベクトルSzの分布内において、参照話者の話者スーパベクトルSorgを、平均値ψrに向かって、距離Drだけ移動した点に対応する話者スーパベクトルSが、目的話者の話者スーパベクトルStarに決定されるので、参照話者の音声の発話の場の雰囲気を破壊せずに、音声の個人性を、強力に消去する声質変換を行うことができる。
【０２５６】
さらに、第３の決定方法では、複数の参照話者については、その参照話者の声質が異なる限り、異なる声質の話者が、目的話者に決定される。したがって、複数の参照話者に対して、同一の声質の話者が、目的話者に決定されることを防止することができる。
【０２５７】
以上のように、声質変換部１２では、決定方法制御値wに従い、声質変換に用いる目的話者決定方法を決定し、その目的話者決定方法に従い、目的話者を決定するので、ユーザは、決定方法制御値wを指示するだけで、目的話者自体を指示しなくても、容易に、ユーザが希望する声質変換を行うことができる。
【０２５８】
＜声質変換部１２の処理＞
【０２５９】
図９は、図４の声質変換部１２が行う声質変換の処理を説明するフローチャートである。
【０２６０】
声質変換部１２は、参照話者の音声と、決定方法制御値wとが供給されると、参照話者の音声を、時間周波数変換部３１に供給するとともに、決定方法制御値wを、声質決定部３４に供給する。
【０２６１】
そして、ステップＳ２１において、時間周波数変換部３１は、図２の時間周波数変換部２１ｚと同様にして、参照話者の音声の周波数変換を行い、その結果得られるスペクトルX(k,l)を、包絡算出部３２、及び、音声生成部３５に供給して、処理は、ステップＳ２２に進む。
【０２６２】
ステップＳ２２では、包絡算出部３２は、図２の包絡算出部２２ｚと同様にして、時間周波数変換部３１からのスペクトルX(k,l)から、参照話者の包絡情報としてのケプストラムC(j,l)を求め、話者適応部３３に供給して、処理は、ステップＳ２３に進む。
【０２６３】
ステップＳ２３では、話者適応部３３は、学習部１１（図２）の包絡空間生成部２４から、包絡情報モデルとしてのUBM-GMM（のモデルパラメータθ'p＝{μ'p，Σ'p，π'p}）を取得し、処理は、ステップＳ２４に進む。
【０２６４】
ステップＳ２４では、話者適応部３３は、図２の話者適応部２５ｚと同様にして、包絡算出部３２からの参照話者ケプストラムCorg(j,l)を用いて、学習部１１からのUBM-GMMの話者適応を行うことで、参照話者に適応したMAP-GMMを生成し、処理は、ステップＳ２５に進む。
【０２６５】
ステップＳ２５では、話者適応部３３は、図２の話者適応部２５ｚと同様にして、参照話者に適応したMAP-GMMのモデルパラメータである平均ベクトルμorg,pを用い、MAP-GMMを構成するP個のガウス分布の平均ベクトルμorg,0，μorg,1，...，μorg,P-1をコンポーネントとする話者スーパベクトルSorg＝［μorg,0T，μorg,1T，...，μorg,P-1T］Tを、参照話者の声質を表す声質パラメータとして生成し、包絡算出部３２からの参照話者ケプストラムCorg(j,l)とともに、声質決定部３４に供給して、処理は、ステップＳ２６に進む。
【０２６６】
ステップＳ２６では、声質決定部３４は、外部から供給される決定方法制御値wを取得し、その決定方法制御値wに従い、例えば、上述した第１ないし第３の決定方法の中から、声質変換に用いる目的話者決定方法を、注目決定方法として決定して、処理は、ステップＳ２７に進む。
【０２６７】
なお、外部から決定方法制御値wが供給されない場合には、声質決定部３４では、例えば、あらかじめ決められたデフォルトの値を、決定方法制御値wとして用いることができる。
【０２６８】
ステップＳ２７では、声質決定部３４は、注目決定方法に従い、学習部１１（図２）の声質モデルデータベース２７に記憶された声質モデルとしてのクラス#rごとの話者スーパベクトルSzの平均値ψr及び共分散φr、並びに、話者適応部３３から供給される参照話者の声質パラメータとしての話者スーパベクトルSorgを用いて、目的話者の声質パラメータとしての話者スーパベクトルStarを決定し（求め）、処理は、ステップＳ２８に進む。
【０２６９】
ステップＳ２８では、声質決定部３４は、目的話者の声質パラメータとしての話者スーパベクトルStarから、目的話者の包絡情報としてのケプストラムである目的話者ケプストラムCtar(j,l)を、式（２９）ないし式（３５）に従って求め、話者適応部３３からの参照話者ケプストラムCorg(j,l)とともに、音声生成部３５の包絡変換部４１に供給して、処理は、ステップＳ２９に進む。
【０２７０】
ステップＳ２９では、包絡変換部４１は、式（３６）及び式（３７）に従って、声質決定部３４からの目的話者ケプストラムCtar(j,l)、及び、参照話者ケプストラムCorg(j,l)を、周波数領域上の包絡情報Vtar(k,l)及びVorg(k,l)に変換し、処理は、ステップＳ３０に進む。
【０２７１】
ステップＳ３０では、包絡変換部４１は、包絡情報Vorg(k,l)及びVtar(k,l)を用い、式（３８）に従って、声質決定部３４からの参照話者のスペクトルX(k,l)を、目的話者（の音声）のスペクトルY(k,l)に変換し、周波数時間変換部４２に供給して、処理は、ステップＳ３１に進む。
【０２７２】
ステップＳ３１では、周波数時間変換部４２は、包絡変換部４１からの目的話者のスペクトルY(k,l)の周波数時間変換を、式（３９）ないし式（４２）に従って行い、その結果得られる目的話者の音声ycurr(n+lN)、すなわち、参照話者の音声の声質変換の結果を出力する。
【０２７３】
＜サーバクライアントシステムへの適用＞
【０２７４】
図１０は、サーバクライアントシステムに適用した音声個人性消去装置を説明する図である。
【０２７５】
図１の音声個人性消去装置は、いわゆるスタンドアロンの装置として構成する他、サーバクライアントシステムとして構成することができる。
【０２７６】
図１０Ａは、音声個人性消去装置を適用したサーバクライアントシステムの第１の構成例を示すブロック図である。
【０２７７】
図１０Ａでは、サーバは、学習部１１を有し、クライアントは、声質変換部１２を有する。
【０２７８】
クライアントとしての声質変換部１２は、サーバとしての学習部１１から、声質モデル等の必要な情報を取得して、声質変換を行う。
【０２７９】
図１０Ｂは、音声個人性消去装置を適用したサーバクライアントシステムの第２の構成例を示すブロック図である。
【０２８０】
図１０Ｂでは、サーバは、学習部１１、及び、声質変換部１２を有し、クライアントは、図示せぬユーザI/F(Interface)を有する。
【０２８１】
クライアントでは、ユーザが、ユーザI/Fから、参照話者の音声、及び、決定方法制御値wを入力し、サーバに送信する。
【０２８２】
サーバでは、クライアントからの参照話者の音声、及び、決定方法制御値w、さらには、学習部１１で得られる声質モデル等の必要な情報を用いて、声質変換が行われ、その声質変換結果としての音声が、クライアントに送信される。
【０２８３】
クライアントでは、サーバからの声質変換結果としての音声が受信され、ユーザI/Fから出力される。
【０２８４】
図１０Ｃは、音声個人性消去装置を適用したサーバクライアントシステムの第３の構成例を示すブロック図である。
【０２８５】
図１０Ｃは、サーバは、学習部１１と、声質変換部１２の一部としての声質決定部３４を有し、クライアントは、声質変換部１２の残り（図４の時間周波数変換部３１、包絡算出部３２、話者適応部３３、及び、音声生成部３５）を有する。
【０２８６】
クライアントでは、決定方法制御値wが、サーバに送信され、サーバにおいて、声質決定部３４が、クライアントからの決定方法制御値wと、学習部１１で得られる声質モデル等の必要な情報を用いて、上述した場合と同様の処理を行い、その結果得られる情報を、クライアントに送信する。
【０２８７】
クライアントでは、声質変換部１２において、参照話者の音声と、サーバから送信されてくる、声質決定部３４で得られた情報を用いて、図９で説明した声質変換部１２の処理のうちの、声質決定部３４が行う処理を除いた処理が行われる。
【０２８８】
なお、音声個人性消去装置を、サーバクライアントシステムに適用する場合には、声質変換部１２を構成するブロックのうちの、声質決定部３４以外のブロックを、サーバに設けることができる。
【０２８９】
＜本技術を適用したコンピュータの説明＞
【０２９０】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２９１】
そこで、図１１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２９２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２９３】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２９４】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２９５】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０２９６】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０２９７】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２９８】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２９９】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０３００】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３０１】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３０２】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３０３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３０４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０６】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３０７】
ここで、本実施の形態では、本技術を、音声の個人性を消去することを目的とする声質変換に適用した場合について説明したが、本技術は、音声の個人性を消去すること以外の目的の声質変換にも適用することができる。
【０３０８】
また、本実施の形態では、決定方法制御値wが、0,1,2の３値のいずれかをとることとし、その決定方法制御値wに従って、第１ないし第３の決定方法の中から、声質変換に用いる目的話者決定方法を決定することとしたが、決定方法制御値wは、３値に限定されるものではなく、目的話者決定方法も、第１ないし第３の決定方法の３つの方法に限定されるものではない。すなわち、決定方法制御値wとしては、２値又は４値以上を採用することができ、目的話者決定方法としては、２つ又は４つ以上の方法を用意することができる。
【０３０９】
さらに、声質変換の方法は、上述した方法に限定されるものではない。
【０３１０】
なお、本技術は、以下のような構成をとることができる。
【０３１１】
＜１＞
声質変換の目的とする声質の話者である目的話者を決定する目的話者決定方法を指示する決定方法制御値に従い、前記声質変換に用いる前記目的話者決定方法を決定し、その目的話者決定方法に従い、前記目的話者を決定する声質決定部
を備える音声処理装置。
＜２＞
声質変換の対象の話者である参照話者の音声から、前記目的話者の声質の音声を生成する音声生成部をさらに備える
＜１＞に記載の音声処理装置。
＜３＞
前記声質決定部は、声質を表す声質パラメータの声質空間内の、複数の話者の音声を用いて求められた前記声質パラメータの分布である声質パラメータ分布を用いて、前記目的話者を決定する
＜２＞に記載の音声処理装置。
＜４＞
前記声質決定部は、前記決定方法制御値に従い、前記参照話者の声質パラメータが属する前記声質パラメータ分布内に分布する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法を、前記声質変換に用いる前記目的話者決定方法に決定する
＜３＞に記載の音声処理装置。
＜５＞
前記声質決定部は、前記決定方法制御値に従い、前記参照話者の声質パラメータが属する前記声質パラメータ分布をランダムにサンプリングし、そのサンプリングの結果得られるサンプリング点に対応する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法を、前記声質変換に用いる前記目的話者決定方法に決定する
＜４＞に記載の音声処理装置。
＜６＞
前記声質決定部は、前記決定方法制御値に従い、前記参照話者の声質パラメータが属する前記声質パラメータ分布内において、前記参照話者の声質パラメータに対応する点を、所定の点に対して点対称となる方向に移動した点に対応する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法を、前記声質変換に用いる前記目的話者決定方法に決定する
＜４＞又は＜５＞に記載の音声処理装置。
＜７＞
前記声質決定部は、前記決定方法制御値に従い、前記参照話者の声質パラメータが属する前記声質パラメータ分布とは異なる前記声質パラメータ分布内に分布する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法を、前記声質変換に用いる前記目的話者決定方法に決定する
＜３＞に記載の音声処理装置。
＜８＞
前記声質決定部は、前記決定方法制御値に従い、
声質を表す声質パラメータの声質空間内の、複数の話者の音声を用いて求められた前記声質パラメータの分布である声質パラメータ分布を用いる方法、
又は、前記参照話者の声質パラメータが属する前記声質パラメータ分布とは異なる前記声質パラメータ分布を用いる方法
を、前記声質変換に用いる前記目的話者決定方法に決定する
＜３＞に記載の音声処理装置。
＜９＞
前記声質決定部は、前記決定方法制御値に従い、
前記参照話者の声質パラメータが属する前記声質パラメータ分布をランダムにサンプリングし、そのサンプリングの結果得られるサンプリング点に対応する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法、
前記参照話者の声質パラメータが属する前記声質パラメータ分布内において、前記参照話者の声質パラメータに対応する点を、所定の点に対して点対称となる方向に移動した点に対応する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法、
又は、前記参照話者の声質パラメータが属する前記声質パラメータ分布とは異なる前記声質パラメータ分布内に分布する前記声質パラメータが表す声質を前記目的話者の声質に決定する方法
を、前記声質変換に用いる前記目的話者決定方法に決定する
＜３＞に記載の音声処理装置。
＜１０＞
声質変換の目的とする声質の話者である目的話者を決定する目的話者決定方法を指示する決定方法制御値に従い、前記声質変換に用いる前記目的話者決定方法を決定し、その目的話者決定方法に従い、前記目的話者を決定する
ステップを含む音声処理方法。
＜１１＞
声質変換の目的とする声質の話者である目的話者を決定する目的話者決定方法を指示する決定方法制御値に従い、前記声質変換に用いる前記目的話者決定方法を決定し、その目的話者決定方法に従い、前記目的話者を決定する声質決定部
として、コンピュータを機能させるためのプログラム。
【符号の説明】
【０３１２】
１１  学習部，  １２  声質変換部，  ２１１ないし２１Ｚ  時間周波数変換部，  ２２１ないし２２Ｚ  包絡算出部，２３１ないし２３Ｚ  包絡特徴量データベース，  ２４  包絡空間生成部，  ２５１ないし２５Ｚ  話者適応部，  ２６  声質空間生成部，  ２７  声質モデルデータベース，  ３１  時間周波数変換部，  ３２  包絡算出部，  ３３  話者適応部，  ３４  声質決定部，  ３５  音声生成部，  ４１  包絡変換部，  ４２  周波数時間変換部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2015040903.tif 000045
【図２】
2015040903.tif 000046
【図３】
2015040903.tif 000047
【図４】
2015040903.tif 000048
【図５】
2015040903.tif 000049
【図６】
2015040903.tif 000050
【図７】
2015040903.tif 000051
【図８】
2015040903.tif 000052
【図９】
2015040903.tif 000053
【図１０】
2015040903.tif 000054
【図１１】
2015040903.tif 000055