(57)【要約】【課題】  情報変換において、目的とする情報との主観的な類似性を高める。【解決手段】  変換元情報を、変換モデルを用いて変換後情報に変換する変換処理と、変換後情報と目標情報を比較して第１の距離を求める第１の比較処理と、変換後情報から、評価モデルを用いて目標情報との類似度スコアを求める類似度スコア推定処理と、類似度スコアから第２の距離を求める第２の比較処理と、第１の距離と第２の距離の双方を評価指標として用い、変換モデルの学習を行う変換モデル学習処理を行う、ことを特徴とする変換モデルの学習方法が開示されている。【選択図】  図２
2019040123.tif 000002
【特許請求の範囲】
【請求項１】
変換元情報を、変換モデルを用いて変換後情報に変換する変換処理と、
前記変換後情報と目標情報を比較して第１の距離を求める第１の比較処理と、
前記変換後情報から、評価モデルを用いて前記目標情報との類似度スコアを求める類似度スコア推定処理と、
前記類似度スコアから第２の距離を求める第２の比較処理と、
前記第１の距離と前記第２の距離の双方を評価指標として用い、前記変換モデルの学習を行う変換モデル学習処理を行う、
ことを特徴とする変換モデルの学習方法。
【請求項２】
被験者に対して、前記目標情報を対象情報として提示し、複数の評価情報を提示し、前記対象情報と其々の評価情報の類似性の主観評価を入力させて、学習用類似度スコアデータを生成する主観評価実験と、
前記学習用類似度スコアデータで前記評価モデルの学習を行う、評価モデル学習処理を行う、
請求項１記載の変換モデルの学習方法。
【請求項３】
前記複数の評価情報は、前記対象情報に対して複数種類の変換処理を行って得た複数の情報である、
請求項２記載の変換モデルの学習方法。
【請求項４】
前記複数の評価情報には、前記対象情報と前記変換元情報が含まれる、
請求項２記載の変換モデルの学習方法。
【請求項５】
前記主観評価の入力は、前記被験者に類似性に関する肯定的な見解あるいは類似性に関する否定的な見解の２値の回答のいずれかを択一的に入力させるものである、
請求項２記載の変換モデルの学習方法。
【請求項６】
前記学習用類似度スコアデータに、前記被験者の入力時の反応時間を反映する、
請求項５記載の変換モデルの学習方法。
【請求項７】
前記反応時間を用いて、前記２値の回答を０から１の範囲の連続値をとるスコアに変換する、
請求項６記載の変換モデルの学習方法。
【請求項８】
前記目標情報と前記目標情報の類似度すなわち一致することを示すスコアを１とし、前記目標情報と前記目標情報以外の情報の類似度すなわち一致しないことを示すスコアを０として、学習用類似度スコアデータを生成する主観評価実験と、
前記学習用類似度スコアデータで前記評価モデルの学習を行う、評価モデル学習処理を行う、
請求項１記載の変換モデルの学習方法。
【請求項９】
変換モデル学習処理において、前記第１の距離をＬ１とし、前記第２の距離をＬ２とした場合に、Ｌ＝Ｌ１＋ｃＬ２（ただし、ｃは重み付け係数）が最小になるように、前記変換モデルの学習を行う、
請求項１記載の変換モデルの学習方法。
【請求項１０】
変換モデル学習処理において、前記第１の距離をＬ１とし、前記第２の距離をＬ２とした場合に、Ｌ１とＬ２の両方が小さくなるように、前記変換モデルの学習を行う、
請求項１記載の変換モデルの学習方法。
【請求項１１】
前記変換元情報は音声情報であり、前記変換処理は声質変換処理である、
請求項１記載の変換モデルの学習方法。
【請求項１２】
変換元情報を変換後情報に変換する変換モデルと、
前記変換後情報と目標情報を比較して第１の距離を求める第１の距離算出部と、
前記変換後情報から、評価モデルを用いて前記目標情報との類似度スコアを求める類似度算出部と、
前記類似度スコアから第２の距離を求める第２の距離算出部と、
前記第１の距離と前記第２の距離の双方を評価指標として用い、前記変換モデルの学習を行う変換モデル学習部と、を備える、
ことを特徴とする変換モデルの学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワークを用いて音声信号を変換する技術に関する。
【背景技術】
【０００２】
ある話者の音声の声質を、他の目標話者の音声の声質に音声信号処理手法を用いて変換する手法として、声質変換という技術がある。例えば、非特許文献１には、ニューラルネットワークを用いて音声変換を行う技術が開示されている。
【０００３】
また、特許文献１には、複数のポーズ推定結果のそれぞれに対してポーズに関連する言語的特徴の特徴量を抽出し、ポーズの自然性の主観評価値とポーズに関連する言語的特徴の特徴量との関係に基づいて構築されたスコア算出モデルを用いて、各ポーズ推定結果の特徴量に基づく各ポーズ推定結果のスコアを算出することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−９９２５１号広報
【非特許文献】
【０００５】
【非特許文献１】L． Sun et al．、“Voice conversion using deep bidirectional long short-term memory based recurrent neural networks、”Proc．of ICASSP、pp．4869-4873、2015．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ある話者の音声の声質を、他の目標話者の音声の声質に音声信号処理手法を用いて変換する手法として、声質変換という技術がある。この技術の応用先としてサービスロボットのオペレーションやコールセンタの自動応答が想定される。
【０００７】
サービスロボットの対話は、従来、音声認識を用いて相手話者の音声を聞き取り、ロボット内部で適切な応答を推定した後に、音声合成によって応答音声を生成していた。しかしこの方法では、環境ノイズによって音声認識が成功しない場合や、相手話者の質問が難解であり適切な応答の推定が成功しない場合に、対話が破綻する。そこで、対話破綻時には、遠隔地にいるオペレータが相手話者の発話を聞き取り、オペレータが発話により応答することで対話を継続することが考えられる。ここで、オペレータの発話をサービスロボットの応答音声と同じ声質に変換することにより、自動応答音声からオペレータ応答音声に切り替える際、相手話者に違和感を与えない対話を実現することができる。
【０００８】
この人手によるオペレーションは、声質変換を行わなくても、オペレータの発話を音声認識し、認識した内容をサービスロボットの声質で音声合成をするという構成でも実現できる。しかしながら、この構成では、オペレータが発話してから、合成音声が再生されるまでに数秒かかるため、円滑なコミュニケーションの実現が難しい。また、オペレータの発話内容を正しく認識したうえ、その意図を確実に表現できる音声を合成することは困難である。そのため、声質変換を用いた構成が有効であると考えられる。
【０００９】
また、コールセンタの自動応答では、問い合わせ者の発話に対して音声認識を行い、対話システムおよび音声合成システムが応答音声を生成する。しかし、自動応答で対応できない場合には、人間のオペレータによって応答を行うことが想定される。このようなシステムを利用する問い合わせ者は、潜在的に、自動応答よりも人間のオペレータと会話をすることを希望すると考えられる。この際、コールセンタの応答が自動応答なのか、人間のオペレータによる応答なのか区別をつけられないようにすると、人間のオペレータによる応答の数を減らすことができると考えられる。そのため、オペレータの発話音声を自動応答音声と同じ声質に変換する構成が有効であると考えられる。
【００１０】
声質変換を行う手法としては、非特許文献１などが提案されている。以下、図１を参照して声質変換装置の概念について説明する。
【００１１】
図１に示すように、声質変換モデルを生成するためには、初期状態では声質変換モデル103のパラメータはランダムな値となっている。まず初期状態の声質変換モデル103に音声データベース（変換元話者）100を入力し、非類似度算出部104によって声質変換モデル103から出力された音声データベース（変換後）102と音声データベース（変換目標話者）101の非類似度が計算される。そして、非類似度が小さくなるように声質変換モデル103のパラメータ更新を繰り返すことによって最適化を行う。
【００１２】
最適化された声質変換モデル103に新たな変換元話者音声105を入力することにより、この音声の声質が目標話者の音声に変換された変換後音声106が得られる。新たな変換元話者音声105は、例えば、変換元話者の音声データベース100に含まれない他の発話である。声質変換モデル103としては、例えば非特許文献１に記載されるような、ＤＮＮ（Deep Neural Network）を利用したものが知られている。
【００１３】
前もって行われる主観評価実験によって得られたスコアをもとにして、音声を生成する手法も知られている。例えば、特許文献１ではポーズ配置の自然性の主観評価値とポーズに関連する言語的特長量との関係から、生成音声の適切なポーズを推定している。
【００１４】
上述したように、声質変換モデル103の最適化は、変換後音声と目標話者音声の物理的な非類似度が最小となるように行われる。しかし、この最小化基準のみでの声質変換モデル最適化には２点問題がある。１点目は、この最適化は客観指標にのみ基づいており、変換後音声と目標話者音声の主観的な類似度が高くなるような最適化が必ずしも行われていないという点である。２点目は、変換後音声と第三者の話者の音声の非類似度を考慮した声質変換モデルの最適化を行うことができていない点である。適切に変換後音声を変換目標話者音声に近づけるためには、変換後音声を変換目標話者に近づける基準に加えて、変換後音声を第三者の音声から遠ざける基準が必要であると考えられる。
【００１５】
そこで本発明は、情報変換において、目的とする情報との類似性を高めることを目的とする。
【課題を解決するための手段】
【００１６】
本発明の一側面は、変換元情報を、変換モデルを用いて変換後情報に変換する変換処理と、変換後情報と目標情報を比較して第１の距離を求める第１の比較処理と、変換後情報から、評価モデルを用いて目標情報との類似度スコアを求める類似度スコア推定処理と、類似度スコアから第２の距離を求める第２の比較処理と、第１の距離と第２の距離の双方を評価指標として用い、変換モデルの学習を行う変換モデル学習処理を行う、ことを特徴とする変換モデルの学習方法である。
【００１７】
本発明の他の一側面は、変換元情報を変換後情報に変換する変換モデルと、変換後情報と目標情報を比較して第１の距離を求める第１の距離算出部と、変換後情報から、評価モデルを用いて目標情報との類似度スコアを求める類似度算出部と、類似度スコアから第２の距離を求める第２の距離算出部と、第１の距離と第２の距離の双方を評価指標として用い、変換モデルの学習を行う変換モデル学習部と、を備える、ことを特徴とする変換モデルの学習装置である。
【発明の効果】
【００１８】
本発明によれば、情報変換において目的とする情報との主観的な類似性を高めることができる。特に、声質変換後音声の自然性、変換目標話者との類似性を高めることができる。
【図面の簡単な説明】
【００１９】
【図１】非特許文献１の声質変換装置の動作を示すブロック図。
【図２】実施例の処理全体を説明する概念図。
【図３】実施例１の声質変換装置の構成を示すブロック図。
【図４】実施例１の声質変換装置の動作を示すブロック図。
【図５】実施例１の声質変換装置を用いるための手順を示したフロー図。
【図６】実施例１の主観的類似度評価から得られたスコアを求めるための実験インターフェースの図。
【図７】実施例１の主観的類似度評価から得られたスコアを求めるための実験手順を示すフロー図。
【図８】主観評価実験によって得られた、類似度スコアのデータの概念を示す表図。
【図９】実施例１の目標話者音声との類似度算出部の学習時の動作を示すブロック図。
【図１０】実施例１の声質変換モデル学習部の動作を示すブロック図。
【図１１】実施例１の目標話者音声との類似度算出部の声質変換モデル学習時の動作を示すブロック図。
【図１２】話者ラベルのデータ構成の一例を示す表図である。
【発明を実施するための形態】
【００２０】
以下、実施例について図面を用いて説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
【００２１】
以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。
【００２２】
同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【００２３】
本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
【００２４】
図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。
【００２５】
図２は、以下で説明される実施例の概要を概念的に説明した図である。変換元話者音声Ｖ１は音質変換モデルＭ１によって、変換後音声Ｖ１ｘに変換される。変換後音声Ｖ１ｘと目標話者音声Ｖ２の距離Ｌ１が小さくなるように、音質変換モデルＭ１を学習し最適化するのみでは、先に述べたように、変換後音声Ｖ１ｘと目標話者音声Ｖ２の主観的な類似度が高くなるような最適化が必ずしも行われない。
【００２６】
本実施例では、例えば実験的に求められた主観類似度評価に基づいて、変換後音声Ｖ１ｘから主観的な類似度スコアを推定するために類似度算出部に実装するモデルＭ２を生成する。モデルＭ２を用いて変換後音声Ｖ１ｘと目標話者音声Ｖ２の類似度スコアＳ（例えばＳは0以上1以下の値であって、１が一致を意味する）を推定し、類似度スコアＳと１との差である距離Ｌ２を求める。そして、Ｌ１とＬ２双方の値を用いて、音質変換モデルＭ１を学習する。例えば、Ｌ＝Ｌ１＋ｃＬ２を定義し、Ｌを最小化するように音質変換モデルＭ１を学習する。ここで、ｃは重み付け係数である。類似度スコアを求めるモデルＭ２は、類似度を主観的に判断した学習用類似度スコアデータによって、学習することができる。学習用類似度スコアデータを作成するために、実施例では、主観的評価実験を行うものとしている。各種モデルはＤＮＮ等で構成することができ、その学習方法は既知の手法を用いることができる。
【００２７】
このように本実施例では、主観評価実験によって得られるスコアをもとにしたコスト関数を導入するとともに、複数の話者の音声を参照した変換後音声と変換目標話者音声の非類似度を導入し、声質変換モデルの最適化を行う。
【実施例１】
【００２８】
実施例１では、サービスロボットの人手によるオペレーションにおいて、声質変換後音声の変換目標話者との主観的類似度を反映したスコアを用いて、声質変換後音声の自然性の向上および目標話者との類似度向上を実現する。
【００２９】
以下、図３、図４、図５、図６、図７、図８、図９、図１０を参照して、実施例１の声質変換装置の構成および動作について説明する。図３は本実施例のハードウェア構成を示す図である。図４は本実施例の声質変換装置の動作を示すブロック図である。図５は本実施例の声質変換装置を用いるための手順を示したフロー図である。図６は本実施例の主観的類似度評価から得られたスコアを求めるための実験インターフェースの図である。図７は本実施例の主観的類似度評価から得られたスコアを求めるための実験手順を示すフロー図である。図８は主観評価実験によって得られた、類似度スコアのデータの概念を示す表図である。図９は本実施例の目標話者音声との類似度算出部の学習時の動作を示すブロック図である。図１０は本実施例の声質変換モデル学習部の動作を示すブロック図である。図１１は本実施例の目標話者音声との類似度算出部の声質変換モデル学習時の動作を示すブロック図である。
【００３０】
図３に、本実施例のハードウェア構成図を示している。本実施例においては、サービスロボットにおける運用を想定している。声質変換サーバ1000は、CPU1001と、メモリ1002と、通信I/F1003と、を有し、これらの構成部はバス1012によって相互に接続されている。オペレータ端末1006-1は、CPU1007-1と、メモリ1008-1と、通信I/F1009-1と、音声入力I/F1010-1と、音声出力I/F1011-1と、を有し、これらの構成部はバス1013-1によって相互に接続されている。サービスロボット1006-2は、CPU1007-2と、メモリ1008-2と、通信I/F1009-2と、音声入力I/F1010-2と、音声出力I/F1011-2と、を有し、これらの構成部はバス1013-2によって相互に接続されている。声質変換サーバ1000、オペレータ端末1006-1、サービスロボット1006-2は、ネットワーク1005により接続されている。
【００３１】
図４に示しているのは、声質変換サーバ1000内のメモリ1002における声質変換処理の動作に関する図である。本図には、音声データベース（変換元話者）と、音声データベース（変換目標話者）と、パラメータ抽出部と、時間アライメント処理部と、声質変換モデル学習部と、目標話者音声との類似度算出部と、声質変換部と、音声生成部を含む。図４には、音質変換モデルを学習し最適化する処理と、最適化された音質変換モデルを実装した声質変換部121によって、変換元話者音声を変換する処理の両方を示している。
【００３２】
音声データベース（変換元話者）100および音声データベース（変換目標話者）101には、変換元話者および変換目標話者の発話音声が含まれる。これらの発話音声は、同一発話である必要がある。このようなデータベースをパラレルコーパスと呼ぶ。
【００３３】
パラメータ抽出部107では、音声データベース（変換元話者）100および音声データベース（変換目標話者）101から音声パラメータの抽出が行われる。ここでの音声パラメータは、メルケプストラムを想定している。パラメータ抽出部107には音声データベース（変換元話者）100および音声データベース（変換目標話者）101が入力され、音声パラメータ（変換元話者）108および音声パラメータ（変換目標話者）109が出力される。変換元話者は複数とし、複数の変換元話者の発話音声を音声データベース（変換元話者）100に含むことが望ましい。
【００３４】
声質変換モデル学習部118に入力する音声パラメータは、パラレルコーパス間の時間アライメントがとられている必要がある。すなわち、同じ時間位置において、同じ音素の発音が行われていなければならない。
【００３５】
そのために、時間アライメント処理部110においてパラレルコーパス間の時間アライメントをとる。時間アライメントをとるための具体的な手法としては、動的計画法によるマッチング（DPマッチング：Dynamic Programming）がある。時間アライメント処理部110には、音声パラメータ（変換元話者）108および音声パラメータ（変換目標話者）109が入力され、時間アライメント処理後音声パラメータ（変換元話者）111および時間アライメント処理後音声パラメータ（変換目標話者）112が出力される。
【００３６】
声質変換モデル学習部118には、時間アライメント処理後音声パラメータ（変換元話者）111および、時間アライメント処理後音声パラメータ（変換目標話者）112および、目標話者音声との類似度算出部120から出力される類似度が入力され、声質変換モデルの最適化が行われる。類似度算出部120は、主観的類似度評価から得られた類似度スコア119を用いる。これについての詳細は後述する。
【００３７】
声質変換モデルの学習後に、声質変換を行うことができる。変換元話者音声105は、パラメータ抽出部107に入力され、音声パラメータ（変換元話者）122に変換される。その音声パラメータ（変換元話者）122が声質変換部121に入力され、声質変換部121から音声パラメータ（変換後音声）123が出力され、その後、音声パラメータ（変換後音声）123は音声生成部124に入力され、音声生成部124から変換後音声106が出力される。
【００３８】
図５に、本実施例の声質変換装置を使用するための処理のフローを示す。まず、主観的類似度評価によって主観的な類似度スコア119を得るために、主観評価実験S125を行う。次に、主観評価実験S125で得られた主観的な類似度スコア119を用いて、目標話者音声との類似度算出部120の学習S126を行う。そして、学習された目標話者音声との類似度算出部120で推定した主観的な類似度（あるいは距離）を用いて、声質変換モデルの学習S127を行う。最後に、学習された声質変換モデルを用いて声質変換S128を行う。
【００３９】
声質変換モデル学習部118から出力される、声質変換音声の目標話者音声との類似度を算出するために、類似度算出部120を用いる。類似度算出部120に実装する類似度算出モデルを学習するためのデータを準備するために、主観評価実験S125を行う。主観評価実験S125では、n人分の話者の音声を用意する。このn人には、音声データベース（変換元話者）100および音声データベース（変換目標話者）101の音声が含まれていることが望ましい。
【００４０】
n人分の話者の音声は、例えば、音声データベース（変換目標話者）101の単一の目標音声をもとにしたnとおりの声質変換によって用意することが望ましい。そうすることによって、話者間で韻律、抑揚パターンが同様となるため、これらの要素が主観評価のバイアスになることを防ぐことができる。
【００４１】
主観評価実験S125により、これらn人の話者の音声に、音声データベース（変換目標話者）101に含まれる音声との類似度スコアを付与する。0を最も似ていない、1を最も似ているとして、0〜1の連続的な値で付与する。
【００４２】
図６に、主観評価実験S125のためのインターフェースを示す。まず実験参加者は、「再生」ボタン600を押下する。そうすると、1発話の変換目標話者の音声が呈示され、その所定時間後、たとえば1秒程度後に、n人の音声データベースからランダムに選ばれた話者の音声が呈示される。前者の音声を対象音声、後者の音声を評価音声と呼ぶ。音声の呈示は、音声呈示装置によって呈示される。音声呈示装置は、ヘッドフォン、スピーカが考えられる。
【００４３】
実験参加者は、評価音声の呈示が始まった後できるだけ早く、評価音声が対象音声と似ているかどうかの判断を行い、「似ている」ボタン130あるいは「似ていない」ボタン131を押下することにより回答を行う。回答が行われた1秒程度後に、次の音声が呈示される。主観評価実験の進捗状況はプロブレスバー132により実験参加者に示される。実験が進むにつれ、黒い部分が右に向かって大きくなる。黒い部分が右端まで到達すると、実験は終了である。
【００４４】
この際、評価音声が呈示されてから、実験参加者がボタンを押下するまでの時間を計測する。この時間を反応時間と呼ぶ。この反応時間を用いて、2値の回答（似ている、似ていない）を0から1の範囲の連続値類似度スコアに変換する。類似度スコアSは次式により算出する。  
S=min(1、1/tα)/2＋0．5    （「似ている」が押下されたとき）
S=max(-1、-1/tα)/2＋0．5  （「似ていない」が押下されたとき）
【００４５】
tは反応時間、αは任意の定数である。反応時間が短いほど、ボタン押下による回答の信頼度が高く、反応時間が長いほど、ボタン押下による回答の信頼度が低いと解釈されて、なおかつ、Sが0から1の間をとるようであれば、他の式で代用しても構わない。
【００４６】
図７に主観評価実験S125の1試行のフローを示す。実験参加者が「再生ボタン」を押下S133し、対象音声（変換目標音声）呈示S134が行われ、評価音声呈示S135が行われ、評価音声の再生が始まってから速やかに、実験参加者が「似ている」ボタン押下S136、もしくは「似ていない」ボタン押下S137を行い、押下されたボタンおよび反応時間記録S138がなされ、次の試行に移行する。
【００４７】
上記の流れにより、呈示された評価音声すべてに、0〜1の間の値をとる類似度スコアSが付与される。同一話者の評価音声のサンプルとして複数種類の発話を含む場合には、複数の発話に対する類似度スコアの平均値を当該話者の類似度スコアSとすればよい。
【００４８】
図８に、主観評価実験S125によって得られた、類似度スコア119のデータの概念を示す。先に述べたように、類似度スコアには、変換元話者および変換目標話者の音声が含まれていることが望ましい。図８では、変換目標話者がYであるとして、話者Yの発話した評価音声は類似度が1（一致）となっている。このスコアを用いて、目標話者音声との類似度算出部120の学習S126を行う。
【００４９】
目標話者との類似度算出部120はニューラルネットワークを用いて設計する。ニューラルネットワークの素子として、時系列の情報を考慮することのできる短方向LSTMもしくは双方向LSTMを用いることが望ましい。ここでは、主観評価実験S125で用いた評価音声に対して、変換目標話者との主観的類似度を予測するニューラルネットワークの学習を行う。本実施例によれば、主観的な類似度を高めるために、変換元話者および変換目標話者以外の話者のデータを用いて、より多くのデータを学習に用いることができる。
【００５０】
図９を用いて目標話者音声との類似度算出部120の学習時の機能について説明する。この実施例では評価音声139として、図８の類似度スコアを採取するために用いた複数話者A〜Yの評価音声を用いることにする。これらの評価音声は、音声データベース100に格納されているものとする。また、主観的類似度評価から得られた類似度スコア119としては、図８のスコアが格納されているものとする。
【００５１】
まず、最初の話者（例えば話者A）の評価音声139がパラメータ抽出部107に入力され、そこから出力された音声パラメータ（評価音声）129が主観的類似度予測部140に入力される。主観的類似度予測部140は例えばニューラルネットを用いて構成されている。主観的類似度予測部140は、話者Aの評価音声と目標話者音声（図８の例では目標話者はY）との間の、予測された主観的類似度141を出力する。予測された主観的類似度は主観的距離算出部142に入力される。同時に、図８に示す主観的類似度評価から得られた対応する類似度スコア119（図８の例では話者Aの類似度スコア「0．1」）も主観的距離算出部142に入力される。
【００５２】
主観的距離算出部142では、予測された主観的類似度141と主観的類似度評価から得られた類似度スコア119の距離143を算出する。この距離は、図２の距離Ｌ２に相当する。距離としては、二乗誤差距離などが考えられる。主観的距離算出部142は、算出した距離143を出力する。算出された距離143は、主観的類似度予測部140に入力され、距離143が小さくなるように、主観的類似度予測部140の内部状態が更新される。この動作を、距離143が十分に小さくなるまで繰り返す。学習に用いる評価音声の話者のサンプルとしては、一定以上多いほうが望ましいが、例えば図８に示した複数話者A〜Yの評価音声を順次使えばよい。
【００５３】
図１０を用いて声質変換モデル学習部118の機能について説明する。まず時間アライメント処理後音声パラメータ（変換元話者）111が、変換後パラメータ予測部144に入力される。変換後パラメータ予測部144は、例えばニューラルネットを用いて構成されている。変換後パラメータ予測部144の基本構成は、声質変換モデル103を実装した声質変換部121と同様である。変換後パラメータ予測部144は、予測された音声パラメータ145を出力する。予測された音声パラメータ145は距離算出部146に入力される。
【００５４】
同時に時間アライメント処理後音声パラメータ（変換目標話者）112も距離算出部146に入力される。距離算出部146では、予測された音声パラメータ145と時間アライメント処理後音声パラメータ（変換目標話者）112の距離147を算出する。この距離147は、図２の距離Ｌ１に相当する。距離としては、二乗誤差距離などが考えられる。距離算出部146は、算出した距離147を出力する。
【００５５】
また、予測された音声パラメータ145は目標話者音声との類似度算出部120にも出力される。目標話者との類似度算出部120は、「1」との距離148を出力する。この距離148は、図２の距離Ｌ２に相当する。目標話者音声との類似度算出部120は図９で説明したそれ自体の主観的類似度予測部140の学習時と、声質変換モデル学習時には異なる動作をする。それについては図１１で後述する。
【００５６】
算出された距離147（図２のＬ１）および「1」との距離148（図２のＬ２）は、変換後パラメータ予測部144に入力され、距離147および「1」との距離148の両方を用いた評価パラメータが小さくなるように、変換後パラメータ予測部144の内部状態が更新される。評価パラメータとしては、例えば先に述べたＬ＝Ｌ１＋ｃＬ２があるが、これに限る必要はない。
【００５７】
この動作を、Ｌが十分小さくなるまで、あるいは、距離147および「1」との距離148が十分に小さくなるまで繰り返す。学習に用いる変換元話者のサンプルとしては、一定以上多いほうが望ましいが、例えば図８に示した複数話者A〜Yの評価音声を順次使えばよい。Ｌが十分に小さくなった後の、変換後パラメータ予測部144を声質変換部121として実装する。
【００５８】
図１１を用いて、図１０における類似度算出部120の、声質変換モデル学習時の機能について説明する。まず予測された音声パラメータ145が、主観的類似度予測部140に入力される。主観的類似度予測部140は図９で説明した処理によってあらかじめ学習を行ったニューラルネットを用いる。主観的類似度予測部140は、予測された主観的類似度141を出力する。予測された主観的類似度は主観的距離算出部142に入力される。同時に、予測された音声パラメータ145が変換目標話者音声と一致していることを示すスコア「１」149が距離算出部に入力される。そして、主観的距離算出部142は予測された主観的類似度141と「１」149の距離148を出力する。かくして、類似度算出部120は、距離148を変換後パラメータ予測部144に送り、変換後パラメータ予測部144はそれを学習に用いる。
【００５９】
以上の実施例の構成によれば、類似性の主観的な評価を声質変換モデルの学習に反映することができる。
【実施例２】
【００６０】
実施例１では、主観的類似度評価から得られたスコアを用いて、目標話者音声との話者類似度を算出したが、話者ラベルを用いることによっても、目標話者音声との類似度を算出することができる。実施例２では、その手法について述べる。
【００６１】
実施例２の構成は、すでに述べた実施例１の構成と共通する部分があるため、以下、図４、図９、図１０、図１１を参照し、実施例１と異なる点を主に指摘して実施例２の声質変換装置の動作について説明する。
【００６２】
実施例２の本実施例の声質変換装置の動作を示すブロックを、図４を参照して説明する。図４に示すように、本実施例の声質変換装置は音声データベース（変換元話者）100と、音声データベース（変換目標話者）101と、パラメータ抽出部107と、時間アライメント処理部110と、声質変換モデル学習部118と、目標話者音声との類似度算出部120と、声質変換部121を含む。音声データベース（変換元話者）100、音声データベース（変換目標話者）101、パラメータ抽出部107、時間アライメント処理部110、声質変換部121の動作は実施例１と同様である。ただし、実施例２では、実施例１の主観的類似度評価から得られた類似度スコア119の代わりに、「話者ラベル」を使用する。
【００６３】
図１２は、話者ラベルのデータ構成の一例を示す表図である。図８に示した類似度スコア119と比較すると、話者ラベルの類似度スコアは、1と0の２値しかとらない。ここで、一致が1であり、一致以外は0となる。ここで、目標話者Yは既知であるかた、このような話者ラベルは実施例１のような主観評価実験S125を行うことなく準備することができる。
【００６４】
本実施例の目標話者音声との類似度算出部120の動作を示すブロックを、図９を参照して説明する。まず評価音声139がパラメータ抽出部107に入力され、音声パラメータ（評価音声）129が出力される。実施例２では、実施例１の主観的類似度予測部140の代わりに「話者推定部」を使用し、音声パラメータは話者推定部に入力される。評価音声には、音声データベース（変換目標話者）101の音声が含まれていなければならない。話者推定部はニューラルネットを用いて構成されている。話者推定部は、推定された話者を特定するＩＤあるいは番号である話者番号を出力する。推定された話者番号は主観的距離算出部142に入力される。同時に図１２に示した話者ラベルが、主観的類似度評価から得られた類似度スコア119に代えて主観的距離算出部142に入力される。主観的距離算出部142では、推定された話者番号と話者ラベルの距離を算出する。距離としては、二乗誤差距離などが考えられる。主観的距離算出部142は、算出した距離143を出力する。算出された距離143は、話者推定部に入力され、距離143が小さくなるように、話者推定部の内部状態が更新される。この動作を、距離が十分に小さくなるまで繰り返す。実施例２の声質変換モデル学習部の動作は、図１０と同様に説明することができる。
【００６５】
本実施例の目標話者音声との類似度算出部の声質変換モデル学習時の動作を示すブロックを、図１１を用いて説明する。まず予測された音声パラメータ145が、主観的類似度予測部140に置き換わる「話者推定部」に入力される。話者推定部はあらかじめ学習を行ったニューラルネットを用いる。話者推定部は、予測された主観的類似度141に代えて、推定された話者番号を出力する。話者番号は主観的距離算出部142に入力される。同時に、変換目標話者音声の話者ラベルを示す「１」149が主観的距離算出部142に入力される。そして、主観的距離算出部142は推定された話者番号と「１」の距離143を出力する。
【００６６】
実施例２によれば、コスト要因となる実験を省略して、擬似的な主観評価を声質変換モデルの学習に反映することができる。
【００６７】
以上説明した実施例に拠れば、声質変換のアルゴリズムに主観的な話者類似度情報を反映することができる。
【００６８】
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。
【図１】
2019040123.tif 000003
【図２】
2019040123.tif 000004
【図３】
2019040123.tif 000005
【図４】
2019040123.tif 000006
【図５】
2019040123.tif 000007
【図６】
2019040123.tif 000008
【図７】
2019040123.tif 000009
【図８】
2019040123.tif 000010
【図９】
2019040123.tif 000011
【図１０】
2019040123.tif 000012
【図１１】
2019040123.tif 000013
【図１２】
2019040123.tif 000014