【手続補正書】
【提出日】令和1年8月2日(2019.8.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声変換方法であって、
コンピュータ機器がターゲットテキストを取得し、
前記コンピュータ機器が、前記ターゲットテキストに対応する第１機械音声を合成し、
前記コンピュータ機器が、非同期機械音声ライブラリから、韻律的特徴が前記第１機械音声の韻律的特徴とマッチングする非同期機械音声単位系列を選別し、
前記コンピュータ機器が、同期機械音声ライブラリにおいて、前記非同期機械音声単位系列に対応する同期機械音声単位系列を検索し、
前記コンピュータ機器が、前記同期機械音声単位系列の韻律的特徴に基づいて、前記ターゲットテキストに対応する第２機械音声を合成し、
前記コンピュータ機器が、前記同期機械音声ライブラリから、前記第２機械音声の音響特徴とマッチングする同期機械音声単位を選別し、
前記コンピュータ機器が、話者音声ライブラリにおける前記同期機械音声単位に対応する話者音声単位を接続して、話者ターゲット音声を得る、ことを含み、
前記同期機械音声ライブラリ、前記非同期機械音声ライブラリ、及び前記話者音声ライブラリのテキスト内容が同じであり、前記話者音声ライブラリと前記同期機械音声ライブラリとの韻律的特徴がマッチングする方法。
【請求項２】
前記コンピュータ機器が、非同期機械音声ライブラリから、韻律的特徴が前記第１機械音声の韻律的特徴とマッチングする非同期機械音声単位系列を選別することは、
前記コンピュータ機器が、前記第１機械音声に応じて、非同期機械音声ライブラリから候補非同期機械音声単位系列を取得し、
前記コンピュータ機器が、前記候補非同期機械音声単位系列と前記第１機械音声との韻律的特徴差異度を決定し、
前記コンピュータ機器が、最小の韻律的特徴差異度に対応する候補非同期機械音声単位系列を、前記第１機械音声の韻律的特徴とマッチングする非同期機械音声単位系列とする、
ことを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記コンピュータ機器が、前記第１機械音声に応じて、非同期機械音声ライブラリから候補非同期機械音声単位系列を取得することは、
前記コンピュータ機器が、前記第１機械音声に含まれる機械音声単位の数量を決定し、
前記コンピュータ機器が、非同期機械音声ライブラリから、含まれる非同期機械音声単位の数量が決定された前記数量に等しい候補非同期機械音声単位系列を取得する、
ことを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記コンピュータ機器が、非同期機械音声ライブラリから、含まれる非同期機械音声単位の数量が決定された前記数量に等しい候補非同期機械音声単位系列を取得することは、
前記コンピュータ機器が、非同期機械音声ライブラリに含まれる非同期機械音声単位系列を走査し、
現在走査中の非同期機械音声単位系列に含まれる非同期機械音声単位の数量が決定された前記数量より少ない場合、前記コンピュータ機器が前記走査を続け、
現在走査中の非同期機械音声単位系列に含まれる非同期機械音声単位の数量が決定された前記数量に等しい場合、前記コンピュータ機器が現在走査中の非同期機械音声単位系列を候補非同期機械音声単位系列とし、
現在走査中の非同期機械音声単位系列に含まれる非同期機械音声単位の数量が決定された前記数量より多い場合、前記コンピュータ機器が、現在走査中の非同期機械音声単位系列から、含まれる非同期機械音声単位の順序及び決定された前記数量に応じて、候補非同期機械音声単位系列を分割する、
ことを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記コンピュータ機器が、前記候補非同期機械音声単位系列と前記第１機械音声との韻律的特徴差異度を決定することは、
前記コンピュータ機器が前記第１機械音声から機械音声単位を分割し、
前記コンピュータ機器が、前記候補非同期機械音声単位系列に含まれる各非同期機械音声単位と、それぞれに対応する分割された機械音声単位との韻律的パラメータ差異値に基づいて、前記候補非同期機械音声単位系列と前記第１機械音声との韻律的特徴差異度を生成する、ことを含み、
前記韻律的パラメータ差異値は、時間長差異値、基本周波数変化率差異値、音響パラメータの時間長分布差異、及び基本周波数変化率の確率分布差異の少なくとも１つを含む、
ことを特徴とする請求項２に記載の方法。
【請求項６】
前記コンピュータ機器が、前記同期機械音声ライブラリから、前記第２機械音声の音響特徴とマッチングする同期機械音声単位を選別することは、
前記コンピュータ機器が前記第２機械音声から機械音声単位を分割し、
前記コンピュータ機器が、分割された各機械音声単位の発音特徴を決定し、
前記コンピュータ機器が、前記同期機械音声ライブラリから、発音特徴が前記分割された各機械音声単位の発音特徴とマッチングする同期機械音声単位サブセットを選別し、
前記コンピュータ機器が、各前記同期機械音声単位サブセット内の各同期機械音声単位と、相応する分割された機械音声単位との音響特徴差異度を決定し、
前記コンピュータ機器が、最小の音響特徴差異度に対応する同期機械音声単位を選別して、前記第２機械音声の音響特徴とマッチングする同期機械音声単位とする、
ことを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記コンピュータ機器が、各前記同期機械音声単位サブセット内の各同期機械音声単位と、相応する分割された機械音声単位との音響特徴差異度を決定することは、
前記コンピュータ機器が、各前記同期機械音声単位サブセット内の各同期機械音声単位の音響パラメータを決定し、
前記コンピュータ機器が、分割された各前記機械音声単位の音響パラメータを決定し、
前記コンピュータ機器が、各同期機械音声単位及び相応する分割された機械音声単位に対して、相応する音響パラメータの差異値を算出し、
前記コンピュータ機器が、前記差異値に基づいて、前記差異値と正相関する音響特徴差異度を生成する、
ことを含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記コンピュータ機器が、話者音声ライブラリにおける前記同期機械音声単位に対応する話者音声単位を接続して、話者ターゲット音声を得ることは、
前記コンピュータ機器が、選別された前記同期機械音声単位を、対応するターゲットテキストにおける発音順序で並べ替え、
前記コンピュータ機器が、並べ替えられた前記同期機械音声単位のうち隣接する同期機械音声単位の接続位置を決定し、
前記コンピュータ機器が、話者音声ライブラリにおいて、前記同期機械音声単位に対応する話者音声単位を検索し、
前記コンピュータ機器が、決定された隣接する同期機械音声単位の接続位置に応じて、相応する前記話者音声単位を接続して、話者ターゲット音声を得る、
ことを含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記コンピュータ機器が、並べ替えられた前記同期機械音声単位のうち隣接する同期機械音声単位の接続位置を決定することは、
前記コンピュータ機器が、選別された各前記同期機械音声単位から分割された音声フレームを取得し、
前記コンピュータ機器が、隣接する同期機械音声単位の接続重畳音声フレーム数を決定して、隣接する同期機械音声単位のそれぞれの、前記接続重畳音声フレーム数に対応する音声フレームの間の差異度を最小化し、
前記コンピュータ機器が、前記接続重畳音声フレーム数に基づいて、並べ替えられた前記同期機械音声単位のうち隣接する同期機械音声単位の接続位置を決定する、
ことを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記コンピュータ機器が、隣接する同期機械音声単位の接続重畳音声フレーム数を決定することは、
【数１７】
2020505652.tif 000001
を含み、
ここで、Ｔは、隣接する同期機械音声単位の接続重畳音声フレーム数を表し、ｔは、隣接する同期機械音声単位の接続重畳音声フレームのｔ番目のフレームを表し、ＣＣｔは、隣接する同期機械音声単位の接続重畳音声フレームのｔ番目のフレームである音声フレームの差異度を表し、
【数１８】
2020505652.tif 000002
は、
【数１９】
2020505652.tif 000003
が最小となるＴを求めることを表す、
ことを特徴とする請求項９に記載の方法。
【請求項１１】
前記コンピュータ機器が話者履歴音声を収集し、
前記コンピュータ機器が、前記話者履歴音声に対応するテキスト内容を認識し、
前記コンピュータ機器が、認識された前記テキスト内容に基づいて、非同期機械音声単位系列を生成し、
前記コンピュータ機器が、生成された前記非同期機械音声単位系列に基づいて、非同期機械音声ライブラリを構築し、
前記コンピュータ機器が、収集された前記話者履歴音声の韻律的特徴を取得し、
前記コンピュータ機器が、認識された前記テキスト内容及び取得された前記韻律的特徴に基づいて、同期機械音声単位系列を生成し、
前記コンピュータ機器が、生成された前記同期機械音声単位系列に基づいて、同期機械音声ライブラリを構築する、
ことをさらに含むことを特徴とする請求項１に記載の方法。
【請求項１２】
コンピュータ機器であって、メモリとプロセッサとを備え、前記メモリには、コンピュータ可読命令が記憶され、前記コンピュータ可読命令は、前記プロセッサによって実行されると、前記プロセッサに、請求項１〜１１のいずれか１項に記載の方法を実行させるコンピュータ機器。
【請求項１３】
コンピュータ可読命令を記憶した１つ又は複数の不揮発性記憶媒体であって、前記コンピュータ可読命令は、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、請求項１〜１１のいずれか１項に記載の方法を実行させる記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
コンピュータ機器であって、メモリとプロセッサとを備え、前記メモリには、コンピュータ可読命令が記憶され、前記コンピュータ可読命令は、前記プロセッサによって実行されると、前記プロセッサに、上記方法を実行させる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
コンピュータ可読命令を記憶した１つ又は複数の不揮発性記憶媒体であって、前記コンピュータ可読命令は、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、上記方法を実行させる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
ここで、話者音声ライブラリには、若干の話者音声単位系列が含まれる。話者音声単位系列とは、少なくとも１つの話者音声単位を順に並べて構成した系列である。話者音声ライブラリにおける各話者音声単位系列は、いずれも話者履歴音声から選択され、音色及び韻律的特徴の両方が話者の音声スタイルに合致する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
端末は、同期機械音声ライブラリに記憶された、候補同期機械音声単位に対応付けられた単位音響パラメータを検索し、検索された単位音響パラメータを逐一、相応する第２機械音声における音声単位の単位音響パラメータと比較し、単位音響パラメータの比較を完了すると、第２機械音声の音響パラメータに最も近い候補同期機械音声単位を選択して、音響特徴がマッチングする同期機械音声単位とするようにしてもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
本実施例では、含まれる非同期機械音声単位の数量が、第１機械音声に含まれる機械音声単位の数量より多い非同期機械音声単位系列から、含まれる非同期機械音声単位の順序及び決定された数量に応じて、非同期機械音声単位子系列を分割して、候補非同期機械音声単位系列とする。これは、自然言語の一貫性に適合して、韻律的特徴差異度の算出結果の信頼性を保証する上に、非同期機械音声ライブラリにおける言語資料の利用率を向上させる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
例を挙げて説明する。第１機械音声から、ａ−ｂ−ｃの３つの機械音声単位が分割されると仮定する。端末は、非同期機械音声ライブラリに含まれる非同期機械音声単位系列を走査する際に、現在走査中の非同期機械音声単位系列がｄ−ｅである場合、該非同期機械音声単位系列に２つの非同期機械音声単位が含まれ、候補条件に合致しなく、走査を続ける。現在走査中の非同期機械音声単位系列がｆ−ｇ−ｈである場合、該非同期機械音声単位系列に３つの非同期機械音声単位が含まれ、候補条件に合致し、端末は、「ｆ−ｇ−ｈ」を直接に候補非同期機械音声単位系列としてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
【数７】
2020505652.tif 000004
ここで、ｐＡ（ｘ｜ｕ１，σ１）は、非同期機械音声単位系列Ａの韻律的パラメータが、平均値がｕ１であり分散がσ１であるガウス分布に従うことを表す。ｐＢ（ｘ｜ｕ２，σ２）は、第１機械音声Ｂの韻律的パラメータが、平均値がｕ２であり分散がσ２であるガウス分布に従うことを表す。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
【数８】
2020505652.tif 000005
数式３において、ＴＣは、音響特徴差異度を表し、Ｎは、音響特徴差異度の算出時に使用される音響パラメータの個数を表し、ｆａは、同期機械音声単位ａに対応する音響パラメータを表し、ｆｂは、相応する分割された機械音声単位ｂに対応する音響パラメータを表し、ｗｎは、ｎ番目の音響特徴の重みを表す。ＴＣの値が小さいほど、同期機械音声単位ａと、相応する分割された機械音声単位ｂとの音響特徴がマッチングすることが表される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
【数１３】
2020505652.tif 000006
ここで、ＣＣΔｔは、隣接する同期機械音声単位の、接続重畳音声フレーム数がＴである場合の差異度を表す。ｆａ，ｔは、隣接する同期機械音声単位のうち前に並べた音声単位ａに含まれる接続重畳音声フレームのｔ番目のフレームの音響パラメータを表し、ｆｂ，ｔは、隣接する同期機械音声単位のうち後に並べた音声単位ｂに含まれる接続重畳音声フレームのｔ番目のフレームの音響パラメータを表す。Ｎは、音声フレームの差異度の算出時に選択された音響パラメータの個数を表し、ｗｎは、選択された各音響パラメータに割り当てられた重みを表し、ｗｔは、各音声フレームに割り当てられた重みを表す。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
本実施例では、隣接する同期機械音声単位のそれぞれの、接続重畳音声フレーム数に対応する音声フレームの間の差異度が最小となる接続重畳音声フレーム数を求めるための具体的な方法が提供されていることで、接続位置の選択がより正確である。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
図７は、一実施例における隣接する話者音声単位の接続の模式図である。図７を参照すると、該模式図は、前に並べた話者音声単位７１０と、後に並べた話者音声単位７２０と、を含む。ここで、話者音声単位７１０は、Ｔ個の音声フレームが含まれる接続重畳部分７１１を含み、音声フレーム７１２は、話者音声単位７１０の接続重畳部分のｔ番目のフレームである。話者音声単位７２０は、Ｔ個の音声フレームが含まれる接続重畳部分７２１を含み、音声フレーム７２２は、話者音声単位７２０の接続重畳部分のｔ番目のフレームである。話者音声単位７１０の接続重畳部分のｔ番目のフレームと、話者音声単位７２０の接続重畳部分のｔ番目のフレームとが重畳する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
端末は、各接続対象話者音声単位系列における各話者音声単位と、相応する分割された機械音声単位との音響特徴差異度を重み付け加算して、各接続対象話者音声単位系列に対応するターゲット代価を得、各接続対象話者音声単位系列における隣接する話者音声単位の間の差異度を重み付け加算して、各接続対象話者音声単位系列に対応する接続代価を得るようにしてもよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１４３
【補正方法】変更
【補正の内容】
【０１４３】
本実施例では、隣接する同期機械音声単位のそれぞれの、接続重畳音声フレーム数に対応する音声フレームの間の差異度を制約条件として、隣接する同期機械音声単位の接続位置を選択することにより、接続位置の選択の正確さを向上させ、変換された音声は、より自然であり、所要の話者の音声スタイルにより合致する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１４６
【補正方法】変更
【補正の内容】
【０１４６】
本実施例では、隣接する同期機械音声単位のそれぞれの、接続重畳音声フレーム数に対応する音声フレームの間の差異度が最小となる接続重畳音声フレーム数を求めるための具体的な方法が提供されていることで、接続位置の選択がより正確である。