(57)【特許請求の範囲】
【請求項１】
ソース音声の時系列データを入力として、ターゲット音声の、各時刻における甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令のペアからなる指令列を予測する基本周波数パターン予測装置であって、
学習サンプルのソース音声の時系列データとターゲット音声の時系列データとからなるパラレルデータを入力として、前記ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の時系列データから推定される、隠れマルコフモデルの各時刻の、前記フレーズ指令及び前記アクセント指令のペアを示す状態のインデックスからなる状態系列とに基づいて、前記ソース音声の各時刻のスペクトル特徴量ベクトルと、ターゲット音声の前記状態系列との組み合わせの同時生成モデルのパラメータを学習する学習部と、
予測対象のソース音声の時系列データを入力として、前記予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記学習部によって学習された前記同時生成モデルのパラメータとに基づいて、前記予測対象のソース音声に対応する前記ターゲット音声の前記指令列を予測する変換処理部と、
を含む基本周波数パターン予測装置。
【請求項２】
前記隠れマルコフモデルは、前記フレーズ指令が生起する複数の状態ｐｍと、前記アクセント指令が生起する複数の状態ａｎと、前記フレーズ指令及び前記アクセント指令の何れもが生起しない状態ｒ0、ｒ1とを有し、前記状態ｒ0から前記複数の状態ｐｍの何れかに遷移して前記状態ｒ１に遷移し、前記状態ｒ1から前記複数の状態ａｎの何れかに遷移して前記状態ｒ0に遷移するように各状態が連結されている請求項１記載の基本周波数パターン予測装置。
【請求項３】
前記学習部は、以下の式で表わされる目的関数を大きくするように、前記同時生成モデルのパラメータλを学習する請求項１又は２記載の基本周波数パターン予測装置。
【数１】
0006468518.tif 000025
ただし、ｃは、前記ソース音声の各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］からなり、ｓは、各時刻ｋの状態ｓkからなる前記状態系列であり、
【数２】
0006468518.tif 000026
は状態ｓｋの状態出力分布Ｐ（ｃ［ｋ］｜ｓｋ）のパラメータであり、φi,i'は、前記隠れマルコフモデルの状態ｉ，ｉ´間の遷移確率であり、φiは、初期状態が状態ｉである確率である。
【請求項４】
前記変換処理部は、Ｖｉｔｅｒｂｉアルゴリズムを用いて、前記目的関数を大きくするように、前記状態系列を推定し、前記推定した前記状態系列から、前記予測対象のソース音声に対応する前記ターゲット音声の前記指令列を予測する請求項３記載の基本周波数パターン予測装置。
【請求項５】
ソース音声の時系列データを入力として、ターゲット音声の、各時刻における甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令のペアからなる指令列を予測する基本周波数パターン予測装置における基本周波数パターン予測方法であって、
学習部が、学習サンプルのソース音声の時系列データとターゲット音声の時系列データとからなるパラレルデータを入力として、前記ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の時系列データから推定される、隠れマルコフモデルの各時刻の、前記フレーズ指令及び前記アクセント指令のペアを示す状態のインデックスからなる状態系列とに基づいて、前記ソース音声の各時刻のスペクトル特徴量ベクトルと、ターゲット音声の前記状態系列との組み合わせの同時生成モデルのパラメータを学習するステップと、
変換処理部が、予測対象のソース音声の時系列データを入力として、前記予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記学習部によって学習された前記同時生成モデルのパラメータとに基づいて、前記予測対象のソース音声に対応する前記ターゲット音声の前記指令列を予測するステップと、
を含む基本周波数パターン予測方法。
【請求項６】
前記隠れマルコフモデルは、前記フレーズ指令が生起する複数の状態ｐｍと、前記アクセント指令が生起する複数の状態ａｎと、前記フレーズ指令及び前記アクセント指令の何れもが生起しない状態ｒ0、ｒ1とを有し、前記状態ｒ0から前記複数の状態ｐｍの何れかに遷移して前記状態ｒ１に遷移し、前記状態ｒ1から前記複数の状態ａｎの何れかに遷移して前記状態ｒ0に遷移するように各状態が連結されている請求項５記載の基本周波数パターン予測方法。
【請求項７】
前記学習部は、以下の式で表わされる目的関数を大きくするように、前記同時生成モデルのパラメータλを学習する請求項５又は６記載の基本周波数パターン予測方法。
【数３】
0006468518.tif 000027
ただし、ｃは、前記ソース音声の各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］からなり、ｓは、各時刻ｋの状態ｓkからなる前記状態系列であり、
【数４】
0006468518.tif 000028
は状態ｓｋの状態出力分布Ｐ（ｃ［ｋ］｜ｓｋ）のパラメータであり、φi,i'は、前記隠れマルコフモデルの状態ｉ，ｉ´間の遷移確率であり、φiは、初期状態が状態ｉである確率である。
【請求項８】
請求項１〜請求項４の何れか１項に記載の基本周波数パターン予測装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、基本周波数パターン予測装置、方法、及びプログラムに係り、特に、ソース音声から、ターゲット音声の基本周波数パターンを予測する基本周波数パターン予測装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
他者とのコミュニケーションにおいて音声は利便性に優れた手段ではあるが、時として物理的制約により様々な障壁が必然的にもたらされる。例えば、発声器官の内、わずか一か所でも正常に動作しなくなると、深刻な発声障害を患い、音声コミュニケーションに支障をきたす。また、音声生成という物理的行為は、秘匿性の高い意思伝達には不向きであるし、周囲の騒音に脆弱である。これらの障壁を無くすためには、身体的制約を超えて発声器官を動作させて音声を生成したり、適切な発音動作を指定して音声を生成したり、聴取困難なほど微かな音声発声時の発声器官動作から通常音声を生成するなど、物理的・身体的制約を超えた音声生成機能の拡張が必要である。
【０００３】
例えば、喉頭癌などで喉頭を失った喉頭摘出者に対して、残存器官を用いた代替発声法により生成される自然性に乏しい音声を、より自然な音声へと変換する発声補助技術が提案されている（非特許文献１〜３参照）。
【０００４】
この他にも、非可聴つぶやき音声を自然な音声に変換する技術も提案されており、秘匿性に優れた通話技術としての応用が期待されている（非特許文献４参照）。上述の技術はいずれも音声のスペクトル特徴量系列から自然音声の基本周波数（Ｆ０）パターンを予測する問題を扱っている点で共通しており、学習処理と変換処理で構成される。学習処理では、対象音声（前者であれば電気音声、後者であれば非可聴つぶやき音声）と通常音声の同一発話データを用いる。まず各離散時刻（以後、フレーム）において、前後数フレームから得られる対象音声のスペクトル特徴量と、通常音声の対数Ｆ０とその動的成分（時間微分または時間差分）を抽出し、スペクトル距離尺度に基づく動的時間伸縮によりこれらを対応付けた結合ベクトルを得る。これをパラレルデータと呼ぶ。各フレームのパラレルデータを用い、対象音声のスペクトル特徴量と通常音声の対数Ｆ０の静的・動的成分の結合確率密度関数を混合正規分布モデル（Gaussian Mixture Model;以下、ＧＭＭと称する）で表現する。ＧＭＭのパラメータはExpectation-Maximizationアルゴリズムにより学習することができる。変換処理では、学習されたＧＭＭを用いて、系列内変動を考慮した最尤系列変換法により、対象音声のスペクトル特徴量系列から通常音声のＦ０パターンへと変換することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Keigo Nakamura, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano, "Speaking-aid systems using1 GMM-based voice conversion for electrolaryngeal speech," Speech Communication, vol. 54, no. 1,pp. 134{146, 2012.
【非特許文献２】Kou Tanaka, Tomoki Toda, Graham Neubig, Sakriani Sakti, Satoshi Nakamura, "A hybrid approach to electrolaryngeal speech enhancement based on noise reduction and statistical excitation generation," IEICE Transactions on Information and Systems, vol. E97-D, no. 6, pp. 1429-1437,Jun. 2014.
【非特許文献３】Kou Tanaka, Tomoki Toda, Graham Neubig, Sakriani Sakti, Satoshi Nakamura, "Direct F0 control of an electrolarynx based on statistical excitation feature prediction and its evaluation through simulation," Proc. INTERSPEECH, pp. 31{35, Sep. 2014.
【非特許文献４】Tomoki Toda, Kiyohiro Shikano, "NAM-to-speech conversion with Gaussian mixture models,"Proc. INTERSPEECH, pp. 244-247, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術では、学習処理や変換処理において音声のＦ０パターンの物理的な生成過程を考慮したモデルが用いられていなかったため、物理的に人間が発声しえないような不自然なＦ０パターンを生成することが起こりえた。この問題に対し、Ｆ０パターンの物理的な生成過程を考慮した予測を行うことで、より自然なＦ０パターンを生成できる可能性がある。
【０００７】
Ｆ０パターンは声帯に張力を与える甲状軟骨の運動によって生み出されており、非特許文献５ではその制御機構の確率モデルに基づき、フレーズ・アクセント指令と呼ぶ甲状軟骨の運動に関係するパラメータを推定する技術が提案されている。この技術では、フレーズ・アクセント指令の時系列の生成プロセスを隠れマルコフモデル（以下、ＨＭＭと称する）により表現した点がポイントの一つであり、ＨＭＭのトポロジーの設計や遷移確率の学習を通して、指令列に関する言語学的ないし先験的な知識をパラメータ推定に組み込むことが可能である。
【０００８】
［非特許文献５」：Hirokazu Kameoka, Jonathan Le Roux, Yasunori Ohishi, "A statistical model of speech F0 contours," ISCA Tutorial and Research Workshop on Statistical And Perceptual Audition (SAPA2010), pp. 43-48, Sep. 2010.
【０００９】
本発明は、上記問題点を解決するために成されたものであり、Ｆ０パターンの物理的な生成過程の制約を考慮しながらスペクトル特徴量系列に対応する最適なＦ０パターンを推定することができる基本周波数パターン予測装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明に係る基本周波数パターン予測装置は、ソース音声の時系列データを入力として、ターゲット音声の、各時刻における甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令のペアからなる指令列を予測する基本周波数パターン予測装置であって、学習サンプルのソース音声の時系列データとターゲット音声の時系列データとからなるパラレルデータを入力として、前記ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の時系列データから推定される、隠れマルコフモデルの各時刻の、前記フレーズ指令及び前記アクセント指令のペアを示す状態のインデックスからなる状態系列とに基づいて、前記ソース音声の各時刻のスペクトル特徴量ベクトルと、ターゲット音声の前記状態系列との組み合わせの同時生成モデルのパラメータを学習する学習部と、予測対象のソース音声の時系列データを入力として、前記予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記学習部によって学習された前記同時生成モデルのパラメータとに基づいて、前記予測対象のソース音声に対応する前記ターゲット音声の前記指令列を予測する変換処理部と、を含んで構成されている。
【００１１】
また、第１の発明に係る基本周波数パターン予測装置において、前記隠れマルコフモデルは、前記フレーズ指令が生起する複数の状態ｐｍと、前記アクセント指令が生起する複数の状態ａｎと、前記フレーズ指令及び前記アクセント指令の何れもが生起しない状態ｒ0、ｒ1とを有し、前記状態ｒ0から前記複数の状態ｐｍの何れかに遷移して前記状態ｒ１に遷移し、前記状態ｒ1から前記複数の状態ａｎの何れかに遷移して前記状態ｒ0に遷移するように各状態が連結されているようにしてもよい。
【００１２】
また、第１の発明に係る基本周波数パターン予測装置において、前記学習部は、以下の式で表わされる目的関数を大きくするように、前記同時生成モデルのパラメータλを学習するようにしてもよい。
【００１３】
【数１】
0006468518.tif 000002
【００１４】
ただし、ｃは、前記ソース音声の各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］からなり、ｓは、各時刻ｋの状態ｓkからなる前記状態系列であり、
【００１５】
【数２】
0006468518.tif 000003
【００１６】
は状態ｓｋの状態出力分布Ｐ（ｃ［ｋ］｜ｓｋ）のパラメータであり、φi,i'は、前記隠れマルコフモデルの状態ｉ，ｉ´間の遷移確率であり、φiは、初期状態が状態ｉである確率である。
【００１７】
また、第１の発明に係る基本周波数パターン予測装置において、前記変換処理部は、Ｖｉｔｅｒｂｉアルゴリズムを用いて、前記目的関数を大きくするように、前記状態系列を推定し、前記推定した前記状態系列から、前記予測対象のソース音声に対応する前記ターゲット音声の前記指令列を予測するようにしてもよい。
【００１８】
第２の発明に係る基本周波数パターン予測方法は、ソース音声の時系列データを入力として、ターゲット音声の、各時刻における甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令のペアからなる指令列を予測する基本周波数パターン予測装置における基本周波数パターン予測方法であって、学習部が、学習サンプルのソース音声の時系列データとターゲット音声の時系列データとからなるパラレルデータを入力として、前記ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の時系列データから推定される、隠れマルコフモデルの各時刻の、前記フレーズ指令及び前記アクセント指令のペアを示す状態のインデックスからなる状態系列とに基づいて、前記ソース音声の各時刻のスペクトル特徴量ベクトルと、ターゲット音声の前記状態系列との組み合わせの同時生成モデルのパラメータを学習するステップと、変換処理部が、予測対象のソース音声の時系列データを入力として、前記予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記学習部によって学習された前記同時生成モデルのパラメータとに基づいて、前記予測対象のソース音声に対応する前記ターゲット音声の前記指令列を予測するステップと、を含んで実行することを特徴とする。
【００１９】
また、第２の発明に係る基本周波数パターン予測方法において、前記隠れマルコフモデルは、前記フレーズ指令が生起する複数の状態ｐｍと、前記アクセント指令が生起する複数の状態ａｎと、前記フレーズ指令及び前記アクセント指令の何れもが生起しない状態ｒ0、ｒ1とを有し、前記状態ｒ0から前記複数の状態ｐｍの何れかに遷移して前記状態ｒ１に遷移し、前記状態ｒ1から前記複数の状態ａｎの何れかに遷移して前記状態ｒ0に遷移するように各状態が連結されているようにしてもよい。
【００２０】
また、第２の発明に係る基本周波数パターン予測方法において、前記学習部は、以下の式で表わされる目的関数を大きくするように、前記同時生成モデルのパラメータλを学習するようにしてもよい。
【００２１】
【数３】
0006468518.tif 000004
【００２２】
ただし、ｃは、前記ソース音声の各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］からなり、ｓは、各時刻ｋの状態ｓkからなる前記状態系列であり、
【００２３】
【数４】
0006468518.tif 000005
【００２４】
は状態ｓｋの状態出力分布Ｐ（ｃ［ｋ］｜ｓｋ）のパラメータであり、φi,i'は、前記隠れマルコフモデルの状態ｉ，ｉ´間の遷移確率であり、φiは、初期状態が状態ｉである確率である。
【００２５】
また、第３の発明に係るプログラムは、第１の発明に係る基本周波数パターン予測装置の各部としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００２６】
本発明の基本周波数パターン予測装置、方法、及びプログラムによれば、ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、隠れマルコフモデルの各時刻の、フレーズ指令及びアクセント指令のペアを示す状態のインデックスからなる状態系列とに基づいて、ソース音声の各時刻のスペクトル特徴量ベクトルと、ターゲット音声の前記状態系列との組み合わせの同時生成モデルのパラメータを学習し、予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、学習された同時生成モデルのパラメータとに基づいて、予測対象のソース音声に対応するターゲット音声の指令列を予測することにより、Ｆ０パターンの物理的な生成過程の制約を考慮しながらスペクトル特徴量系列に対応する最適なＦ０パターンを推定することができる、という効果が得られる。
【図面の簡単な説明】
【００２７】
【図１】ＨＭＭの構成の一例を示す図である。
【図２】状態ａｎを分割した場合の一例を示す図である。
【図３】ＨＭＭの構成において、状態集合における状態ｐ０を増加させた場合の状態遷移の一例を示す図である。
【図４】本発明の実施の形態に係る基本周波数パターン予測装置の構成を示すブロック図である。
【図５】学習部３０の構成を示すブロック図である。
【図６】変換処理部５０の構成を示すブロック図である。
【図７】本発明の実施の形態に係る基本周波数パターン予測装置における学習処理ルーチンを示すフローチャートである。
【図８】本発明の実施の形態に係る基本周波数パターン予測装置における基本周波数パターン予測処理ルーチンを示すフローチャートである。
【図９】本発明の実施の形態の実験の効果の一例を示す図である。
【図１０】複数のＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型のＨＭＭの始点と終点の状態を連結したＨＭＭの一例を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本発明の実施の形態で提案する技術は、信号処理の技術分野に属し、音声の特徴量系列から基本周波数パターンを予測し、原音声の基本周波数パターンを予測した基本周波数パターンに置き換えることで音声の自然性を向上させることを目的とした音声処理技術である。
【００２９】
ここで本発明の実施の形態における関連技術１〜３について説明する。
【００３０】
＜関連技術１：音声特徴量系列からのＦ０パターン予測方法＞
【００３１】
まず、音声特徴量系列からのＦ０パターン予測方法について説明する。
【００３２】
上記非特許文献１〜非特許文献３では、音声特徴量系列からＦ０パターンを予測する手法が提案されている。当該手法は音声特徴量系列とＦ０パターンの同時確率分布モデルのパラメータを学習する処理と学習した当該モデルを用いて所与の音声特徴量系列からＦ０パターンに変換する処理からなる。
【００３３】
＜学習処理＞
【００３４】
学習処理ソース音声（例えば電気音声）とターゲット音声（例えば自然音声）のパラレルデータが与えられているものとする。ソース音声の特徴量ベクトルをｃ［ｋ］とし、ターゲット音声の対数Ｆ０とその動的成分（時間微分または時間差分）の結合ベクトルをｑ［ｋ］＝（ｙ［ｋ］，Δｙ［ｋ］）Ｔとする。ここでｋは離散時刻のインデックスである。音声特徴量ｃ［ｋ］としては例えば時刻ｋを中心とした前後数フレーム分のメルケプストラム（ベクトル）の系列を連結したベクトルに対し、主成分分析により次元圧縮を行ったものを用いる。本手法ではｃ［ｋ］とｑ［ｋ］の同時確率分布を混合正規分布モデル（ＧａｕｓｓｉａｎＭｉｘｔｕｒｅＭｏｄｅｌ；ＧＭＭ）でモデル化し、学習処理では所与のパラレルデータ｛ｃ［ｋ］，ｑ［ｋ］｝ｋ＝１Ｋから当該ＧＭＭのパラメータを学習する。ＧＭＭのパラメータはＥｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ（ＥＭ）アルゴリズムにより推定することができる。
【００３５】
＜変換処理＞
【００３６】
変換処理では、変換処理における所与の音声特徴量系列ｃ＝（ｃ［１］Ｔ，．．．，ｃ［Ｋ］Ｔ）Ｔの下で、最尤のＦ０パターンであるｙ＝（ｙ［１］Ｔ，．．．，ｙ［Ｋ］Ｔ）Ｔを
【００３７】
【数５】
0006468518.tif 000006
【００３８】
により算出する。ただし、ｑ＝（ｑ［１］Ｔ，．．．，ｑ［Ｋ］Ｔ）Ｔで、Ｗはｙとｑの関係を表す変換行列である。
【００３９】
＜関連技術２：Ｆ０パターン生成過程モデル＞
【００４０】
次に、Ｆ０パターン生成過程モデルについて説明する。
【００４１】
音声のＦ０パターンの生成過程を記述したモデルに、藤崎の基本周波数（Ｆ０）パターン生成過程モデル（藤崎モデル）が知られている（非特許文献６参照）。
【００４２】
［非特許文献６］：H. Fujisaki, "In Vocal Physiology: Voice Production, Mechanisms and Functions," Raven Press, 1988.
【００４３】
藤崎モデルとは、甲状軟骨の運動によるＦ０パターンの生成過程を説明した物理モデルである。藤崎モデルでは、甲状軟骨の二つの独立な運動（平行移動運動と回転運動）にそれぞれ伴う声帯の伸びの合計がＦ０の時間的変化をもたらすと解釈され、声帯の伸びとＦ０パターンの対数値ｙ（ｔ）が比例関係にあるという仮定に基づいてＦ０パターンがモデル化される。甲状軟骨の平行移動運動によって生じるＦ０パターンｘｐ（ｔ）をフレーズ成分、回転運動によって生じるＦ０パターンｘａ（ｔ）をアクセント成分と呼ぶ。藤崎モデルでは、音声のＦ０パターンｙ（ｔ）は、これらの成分に声帯の物理的制約によって決まるベースライン成分ｂを足し合わせたものとして、
【００４４】
【数６】
0006468518.tif 000007
【００４５】
と表現される。これら二つの成分は二次の臨界制動系の出力と仮定され、
【００４６】
【数７】
0006468518.tif 000008
【００４７】
と表される（＊は時刻t に関する畳み込み演算）。ここでｕｐ（ｔ）はフレーズ指令関数と呼ばれ、デルタ関数（フレーズ指令）の列からなり、ｕａ（ｔ）はアクセント指令関数と呼ばれ、矩形波（アクセント指令）の列からなる。これらの指令列には、発話の最初にはフレーズ指令が生起する、フレーズ指令は二連続で生起しない、異なる二つの指令は同時刻に生起しない、という制約条件がある。またαとβはそれぞれフレーズ制御機構、アクセント制御機構の固有角周波数であり、話者や発話内容によらず、おおよそα＝３ｒａｄ／ｓ、β＝２０ｒａｄ／ｓ程度であることが経験的に知られている。
【００４８】
＜関連技術３：Ｆ０パターン生成過程モデルパラメータ推定法＞
【００４９】
次に、Ｆ０パターン生成過程モデルパラメータ推定法について説明する。
【００５０】
上述の藤崎モデルは以下のような確率モデルで記述することができる（非特許文献５、非特許文献７参照）。
【００５１】
［非特許文献７］：Kota Yoshizato, Hirokazu Kameoka, Daisuke Saito, Shigeki Sagayama, "Hidden Markov convolutive mixture model for pitch contour analysis of speech," in Proc. The 13th Annual Conference of theInternational Speech Communication Association (Interspeech 2012), Sep. 2012.
【００５２】
まずフレーズ・アクセント指令関数のペアｏ［ｋ］＝（ｕｐ［ｋ］，ｕａ［ｋ］）Ｔを出力するＨＭＭを考える。ただし、ｋは離散時刻のインデックスを表す。状態出力分布は正規分布とし、各時刻の状態が与えられた下で
【００５３】
【数８】
0006468518.tif 000009
【００５４】
により指令関数ペアｏ［ｋ］が生成されると仮定する。ここで｛ｓｋ｝ｋ＝１ＫはＨＭＭの状態系列であり、平均ベクトル
【００５５】
【数９】
0006468518.tif 000010
【００５６】
はＨＭＭの状態遷移の結果として定まる値である。具体的なＨＭＭの構成を図１に示す。
【００５７】
それぞれの状態をいくつかの小状態に分割することで自己遷移の持続長をパラメータ化することができる。なおこのとき、各々の小状態は全て同じ出力分布を持ち、小状態の数は十分大きな値となるようにしておく。図２に状態ａｎを分割した例を示す。例えば図２のように全てのｍ≠０に対してａｎ，ｍからａｎ，ｍ＋１への状態遷移確率を１に設定することで、ａｎ，０からａｎ，ｍへの遷移確率が状態ａｎがｍステップだけ持続する確率に対応し、アクセント指令の持続長を柔軟に制御できるようになる。同様にｐとｒ０とｒ１も小状態に分割することで、フレーズ指令の持続長と指令間の間隔の長さの分布をパラメータ化することが可能になる。このような分割をふまえて、以後は改めて
【００５８】
【数１０】
0006468518.tif 000011
【００５９】
と表記する。上記のＨＭＭの構成は次のように書ける。
【００６０】
【数１１】
0006468518.tif 000012
【００６１】
状態系列ｓ＝｛ｓｋ｝Ｋｋ＝１が与えられたとき、このＨＭＭはフレーズ指令関数ｕｐ［ｋ］とアクセント指令関数ｕａ［ｋ］のペアを出力する。式（３）と式（５）で示した通り、ｕｐ［ｋ］とｕａ［ｋ］にそれぞれｇｐ［ｋ］とｇａ［ｋ］が畳み込まれてフレーズ成分ｘｐ［ｋ］とアクセント成分ｘａ［ｋ］が出力される。これを式で表すと、
【００６２】
【数１２】
0006468518.tif 000013
【００６３】
と書ける（＊は離散時刻ｋに関する畳み込み演算）。このとき、Ｆ０パターンｘ［ｋ］は
【００６４】
【数１３】
0006468518.tif 000014
【００６５】
と三種類の成分の重ね合わせで書ける。ただしｂは時刻によらないベースライン成分である。
【００６６】
また、実音声においては、いつも信頼のできるＦ０の値が観測できるとは限らない。藤崎モデルのパラメータ推定を行うにあたっては、信頼のおける観測区間のＦ０値のみを考慮に入れて、そうでない区間は無視することが望ましい。例えば音声の無声区間においては通常声帯の振動に伴う周期的な粗密波は観測されないので、仮に自動ピッチ抽出によって音声の無声区間から何らかの値がＦ０の推定値得られたとしても、その値を声帯から発せられる信号のＦ０の値と見なすのは適当ではない。そこで、提案モデルに観測Ｆ０値の時刻ｋにおける不確かさの程度ｖｎ2［ｋ］を導入する。具体的には、観測Ｆ０値ｙ［ｋ］を、真のＦ０値ｘ［ｋ］とノイズ成分
【００６７】
【数１４】
0006468518.tif 000015
【００６８】
との重ね合わせで
【００６９】
【数１５】
0006468518.tif 000016
【００７０】
と表現することで、信頼のおける区間かどうかに関わらず全ての観測区間を統一的に扱える。また、
【００７１】
【数１６】
0006468518.tif 000017
【００７２】
を定数とみなし、
【００７３】
【数１７】
0006468518.tif 000018
【００７４】
は一様に分布すると仮定する。するとｘｎ［ｋ］を周辺化することで、出力値系列ｏ＝｛ｏ［ｋ］｝ｋ＝１Ｋが与えられたときのｙ＝｛ｙ［ｋ］｝ｋ＝１Ｋの確率密度関数
【００７５】
【数１８】
0006468518.tif 000019
【００７６】
が得られる。状態系列ｓ＝｛ｓ［ｋ］｝ｋ＝１Ｋと指令の振幅を表すパラメータ
【００７７】
【数１９】
0006468518.tif 000020
【００７８】
が与えられたとき、出力値系列ｏは
【００７９】
【数２０】
0006468518.tif 000021
【００８０】
に従って生成される。また、Ｐ（ｓ）は状態遷移確率の積として
【００８１】
【数２１】
0006468518.tif 000022
【００８２】
と書ける。ただしφｓ１は初期状態がｓ１である確率をあらわす。
【００８３】
＜本発明の実施の形態の概要＞
【００８４】
本発明の実施の形態に係る技術は、非特許文献５、及び非特許文献７に記載の確率モデルと非特許文献１〜３に記載の確率モデルを組み合わせ、音声スペクトル特徴量系列からフレーズ・アクセント指令を予測することで、Ｆ０パターンの物理的な生成過程の制約を満たしながらスペクトル特徴量系列に対応する最適なＦ０パターンを推定することを可能にする技術である。
【００８５】
＜本発明の実施の形態に係る原理＞
【００８６】
モデルパラメータを学習するために、まず、上述の関連技術３におけるＨＭＭの状態遷移ネットワークを改変する。
【００８７】
図３のように状態集合における状態ｐ０をｐ０，．．．，ｐＭ−１に増やし、各々の状態出力分布の平均を時刻ｋに依存しないようにしたものである。また、図２と同様、状態出力分布におけるｐｍも小状態に分割し、ｐｍ＝｛ｐｍ，０，ｐｍ，１．．．，｝とする。これにより、異なるｍのｐｍに、異なる強度値Ａ（ｍ）ｐが対応する。ここでは、関連技術３と異なり、状態ｐｍの出力分布の平均Ａ（ｍ）ｐがｋに依存しない変数になっていることに注意する。ｒ１＝｛ｒｉ，ｊ｜ｉ≧１，ｊ≧０｝、ｒｉ，ｊ＝｛ｒｉ，ｊ，ｌ｜ｌ≧０｝、ａｉ＝｛ａｉ，ｊ｜ｊ≧０｝、ａｉ，ｊ＝｛ａｉ，ｊ，ｌ｜ｌ≧０｝のように書けば、以上の例は以下のような構成のＨＭＭとして記述できる。
【００８８】
【数２２】
0006468518.tif 000023
【００８９】
次に、関連技術３においてＨＭＭを以上の構成のＨＭＭに置き換えたものを用い、ターゲット音声のデータに対し事前にフレーズ・アクセント指令（状態系列ｓ）を推定する。また、ソース音声の特徴量ベクトルをｃ［ｋ］とする。ここでｋは離散時刻のインデックスである。例えば、非特許文献１〜３と同様に時刻ｋを中心とした前後数フレーム分のメルケプストラム（ベクトル）の系列を連結したベクトルに対し主成分分析により次元圧縮を行ったものをｃ［ｋ］として用いる。以上より、｛ｃ［ｋ］，ｓｋ｝ｋ＝１Ｋというソース音声の特徴量ベクトルと、フレーズ・アクセント指令の状態系列とのペアのデータが得られる。
【００９０】
このペアのデータ｛ｃ［ｋ］，ｓｋ｝ｋ＝１Ｋの同時生成モデルを、上述のＨＭＭ（図３）において出力シンボルをｏ［ｋ］の代わりにｃ［ｋ］としたＨＭＭにより記述する。また、状態出力分布を混合正規分布（ＧａｕｓｓｉａｎＭｉｘｔｕｒｅＭｏｄｅｌ；ＧＭＭ）に改変する。学習処理においては、このＧＭＭのパラメータ（混合重み、各正規分布の平均と分散共分散行列）が学習すべきパラメータとなる。すなわちｌｏｇＰ（ｃ，ｓ｜λ）は
【００９１】
【数２３】
0006468518.tif 000024
【００９２】
で与えられる。ただし、λｉ＝｛αｍ，ｉ，μｍ，ｉ，Σｍ，ｉ｜ｍ＝１，．．，Ｍ｝は各状態の出力分布パラメータ（ＧＭＭの混合重み、各正規分布の平均と分散共分散行列）を表し、λ＝｛λｉ｝Ｉｉ＝１が学習処理において推定すべきパラメータとなる。φｉ，ｉ´は状態ｉから状態ｉ´へ遷移する確率を表し、定数とする。
【００９３】
学習処理においては所与のスペクトル特徴量系列ｃ＝（ｃ［１］，，．．，ｃ［Ｋ］）と状態系列ｓ＝（ｓ［１］，，．．，ｓ［Ｋ］）の下でｌｏｇＰ（ｃ，ｓ｜λ）が局所最大となるようにλを推定する。これはＥｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎアルゴリズムにより実現可能である。
【００９４】
ソース音声の特徴量系列からフレーズ・アクセント指令への変換処理は所与のスペクトル特徴量系列ｃ＝（ｃ［１］，，．．，ｃ［Ｋ］）の下で、上述のＨＭＭの状態系列を推定する問題となるので、通常のＶｉｔｅｒｂｉアルゴリズムによりｓ＝（ｓ［１］，，．．，ｓ［Ｋ］）を求め、そのときの平均系列をフレーズ・アクセント指令列とする。
【００９５】
＜システム構成＞
【００９６】
次に、ソース音声のスペクトル特徴量系列から、ターゲット音声の基本周波数パターンを予測する基本周波数パターン予測装置に、本発明を適用した場合を例にして、本発明の実施の形態を説明する。
【００９７】
図４に示すように、本発明の実施の形態に係る基本周波数パターン予測装置は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン、及び基本周波数パターン予測処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００９８】
図４に示すように、基本周波数パターン予測装置１００は、入力部１０と、演算部２０と、出力部９０とを備えている。
【００９９】
入力部１０は、学習サンプルのソース音声（例えば電気音声）の時系列データとターゲット音声（例えば自然音声）の時系列データとからなるパラレルデータを受け付ける。また、入力部１０は、学習サンプルのソース音声（例えば電気音声）の時系列データとターゲット音声（例えば自然音声）の時系列データとからなるパラレルデータの入力を受け付ける。また、入力部１０は、予測対象のソース音声の時系列データを受け付ける。
【０１００】
演算部２０は、学習部３０と、パラメータ記憶部４０と、変換処理部５０とを備えている。
【０１０１】
学習部３０は、入力部１０によって受け付けた学習サンプルのソース音声の時系列データとターゲット音声の時系列データとからなるパラレルデータから、ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、ターゲット音声の時系列データから推定される、ＨＭＭの各時刻の、フレーズ指令及びアクセント指令のペアを示す状態のインデックスからなる状態系列とに基づいて、ソース音声の各時刻のスペクトル特徴量ベクトルと、ターゲット音声の状態系列との組み合わせの同時生成モデルのパラメータを学習する。
【０１０２】
図５に示すように、学習部３０は、特徴量抽出部３２と、基本周波数系列抽出部３４と、状態系列推定部３６と、モデルパラメータ学習部３８とを備えている。
【０１０３】
特徴量抽出部３２は、入力部１０によって受け付けた学習サンプルのソース音声の時系列データから、ソース音声のスペクトグラム特徴量ベクトルｃ［ｋ］を抽出する。ここでｋは離散時刻のインデックスである。例えば、非特許文献１〜３と同様に時刻ｋを中心とした前後数フレーム分のメルケプストラム（ベクトル）の系列を連結したベクトルに対し主成分分析により次元圧縮を行ったものをｃ［ｋ］として用いる。
【０１０４】
基本周波数系列抽出部３４は、入力部１０によって受け付けた学習サンプルのターゲット音声の時系列データから、ターゲット音声の各時刻ｋにおける基本周波数ｙ［ｋ］を抽出し、ｙ＝（ｙ［１］，．．．，ｙ［Ｋ］）Ｔとする。
【０１０５】
この基本周波数の抽出処理は、周知技術により実現でき、例えば、非特許文献８（H. Kameoka, "Statistical speech spectrum model incorporating all-pole vocal tract model and F0 contour generating process model," in Tech. Rep. IEICE, 2010, in Japanese.）に記載の手法を利用して、８ｍｓごとに基本周波数を抽出する。
【０１０６】
また、ｙとその動的成分（時間微分または時間差分）の結合ベクトル（Ｆ０特徴量と呼ぶ。）をｑ［ｋ］＝（ｙ［ｋ］，Δｙ［ｋ］）Ｔとする。
【０１０７】
状態系列推定部３６は、基本周波数系列抽出部３４によって抽出された基本周波数ｙ［ｋ］に基づいて、ＨＭＭにおける、各時刻ｋの状態ｓｋからなる状態系列ｓを推定する。
【０１０８】
ここでＨＭＭは、上述した本発明の実施の形態に係る原理及び図３に示したように、フレーズ指令が生起する複数の状態ｐｍと、アクセント指令が生起する複数の状態ａｎと、フレーズ指令及びアクセント指令の何れもが生起しない状態ｒ0、ｒ1とを有し、状態ｒ0から複数の状態ｐｍの何れかに遷移して状態ｒ１に遷移し、状態ｒ1から複数の状態ａｎの何れかに遷移して状態ｒ0に遷移するように各状態が連結されている。
【０１０９】
以上より、｛ｃ［ｋ］，ｓｋ｝ｋ＝１Ｋというデータが得られる。
【０１１０】
モデルパラメータ学習部３８は、特徴量抽出部３２によって抽出された各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］と、状態系列推定部３６によって推定された状態系列ｓに基づいて、既存のＥＭアルゴリズムに従って、上記（１６）式におけるｌｏｇＰ（ｃ，ｓ）で表わされる目的関数を大きくするように、同時生成モデルのパラメータλを学習する。
【０１１１】
変換処理部５０は、入力部１０から予測対象のソース音声の時系列データを受け付けて、予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、学習部３０によって学習された同時生成モデルのパラメータλとに基づいて、予測対象のソース音声に対応するターゲット音声の指令列を予測する。ここで、指令列の推定は、Ｖｉｔｅｒｂｉアルゴリズムを用いて、上記（１６）式の目的関数を大きくするように、状態系列を推定し、推定した状態系列から、予測対象のソース音声に対応するターゲット音声の前記指令列を予測する。
【０１１２】
図６に示すように、変換処理部５０は、特徴量抽出部５２と、状態系列推定部５４と、指令系列更新部５６とを備えている。
【０１１３】
特徴量抽出部５２は、入力部１０によって受け付けた予測対象のソース音声の時系列データから、特徴量抽出部３２と同様に、ソース音声の各時刻ｋのスペクトグラム特徴量ベクトルｃ［ｋ］を抽出する。
【０１１４】
状態系列推定部５４は、学習部３０で学習された同時生成モデルのパラメータλと、特徴量抽出部５２で抽出されたスペクトグラム特徴量ベクトルｃ［ｋ］とに基づいて、Ｖｉｔｅｒｂｉアルゴリズムに従って、上記（１６）式の目的関数を大きくするように、状態系列ｓを推定する。
【０１１５】
指令系列更新部５６は、状態系列推定部５４で推定された状態系列ｓに基づいて、状態系列ｓの平均系列をフレーズ・アクセント指令列として算出し、出力部９０に出力する。
【０１１６】
＜基本周波数パターン予測装置の作用＞
【０１１７】
次に、本発明の実施の形態に係る基本周波数パターン予測装置１００の作用について説明する。まず、入力部１０において学習サンプルのソース音声の時系列データとターゲット音声の時系列データとからなるパラレルデータを受け付けると、基本周波数パターン予測装置１００は、図７に示す学習処理ルーチンを実行する。
【０１１８】
まず、ステップＳ１００では、入力されたソース音声の時系列データを読み込み、各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］を抽出する。
【０１１９】
次に、ステップＳ１０２では、入力されたターゲット音声の時系列データを読み込み、ターゲット音声の各時刻ｋにおける基本周波数ｙ［ｋ］を抽出し、また、基本周波数ｙ［ｋ］とその動的成分の結合ベクトルｑ［ｋ］を抽出する。
【０１２０】
ステップＳ１０４では、ステップｓ１０２で抽出された基本周波数ｙ［ｋ］に基づいて、ＨＭＭにおける、状態系列ｓを推定する。
【０１２１】
ステップＳ１０６では、同時生成モデルのパラメータλを初期設定する。
【０１２２】
ステップＳ１０８では、上記ステップＳ１０６で初期設定された、又はステップＳ１１０で前回更新された同時生成モデルのパラメータλに従って、期待値を算出する。
【０１２３】
ステップＳ１１０では、ステップＳ１００で抽出された各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］と、ステップＳ１０４で推定された状態系列ｓと、上記ステップＳ１０８で算出された期待値に基づいて、上記（１６）式に示す目的関数を大きくするように、同時生成モデルのパラメータλを更新する。
【０１２４】
ステップＳ１１２では、予め定められた収束判定条件を満たしたか否かを判定し、収束判定条件を満たしていない場合には、上記ステップＳ１０８へ戻る。一方、収束判定条件を満たした場合には、ステップＳ１１４において、上記ステップＳ１１０で学習されたパラメータλを、パラメータ記憶部４０に格納する。
【０１２５】
次に、予測対象のソース音声の時系列データが、基本周波数パターン予測装置１００に入力されると、基本周波数パターン予測装置１００において、図８に示す基本周波数パターン予測処理ルーチンが実行される。
【０１２６】
まず、ステップＳ２００において、入力された予測対象のソース音声の時系列データを読み込み、各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］を抽出する。
【０１２７】
ステップＳ２０２では、学習部３０で学習された同時生成モデルのパラメータλと、ステップＳ２００で抽出されたスペクトグラム特徴量ベクトルｃ［ｋ］とに基づいて、Ｖｉｔｅｒｂｉアルゴリズムに従って、状態系列ｓを推定する。
【０１２８】
ステップＳ２０４では、ステップＳ２０２で推定された状態系列ｓに基づいて、状態系列ｓに対応する平均系列を、フレーズ・アクセント指令列として算出し、出力部９０に出力する。
【０１２９】
＜本実施の形態の実験の効果＞
【０１３０】
音声信号からスペクトル特徴量系列とＦ０パターンおよびフレーズ・アクセント指令を抽出し、スペクトル特徴量系列とフレーズ・アクセント指令系列のペアデータを用いて学習処理により上記のモデルパラメータ（ＧＭＭのパラメータ）を学習したのちに、変換処理によりスペクトル特徴量系列をフレーズ・アセント指令系列に変換する実験を行い、変換されたフレーズ・アセント指令系列が元のＦ０パターンをどの程度復元できているかを確認した。図９にその結果の例を示す。点線が、音声信号から推定されたＦ０パターンであり、破線が、スペクトル特徴量系列から変換されたフレーズ・アセント指令系列から得られたF０パターンである。スペクトル特徴量にはＦ０の情報が多く含まれていないにもかかわらず概ね元のＦ０パターンを復元できていることが確認できる。
【０１３１】
以上説明したように、本発明の実施の形態に係る基本周波数パターン予測装置によれば、ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、隠れマルコフモデルの各時刻の、フレーズ指令及びアクセント指令のペアを示す状態のインデックスからなる状態系列とに基づいて、ソース音声の各時刻のスペクトル特徴量ベクトルと、ターゲット音声の前記状態系列との組み合わせの同時生成モデルのパラメータを学習し、予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、学習された同時生成モデルのパラメータとに基づいて、予測対象のソース音声に対応するターゲット音声の指令列を予測することにより、Ｆ０パターンの物理的な生成過程の制約を考慮しながらスペクトル特徴量系列に対応する最適なＦ０パターンを推定することができる。
【０１３２】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１３３】
例えば、上述した実施の形態ではＨＭＭを図３に示すような状態遷移ネットワークをもつＨＭＭとしていたが、これに限定されるものではなく、図１０のように複数のＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型のＨＭＭの始点と終点の状態を連結したＨＭＭとしてもよい。フレーズ指令が生起する複数の状態ｐｍに対応して複数のＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型のＨＭＭを有している。図３のＨＭＭの例と同様、状態ｐ０，．．．，ｐＭ−１の状態出力分布の平均は時刻ｋに依存しないものとする。また、図１０の各状態は図２と同様、小状態に分割する。
【符号の説明】
【０１３４】
１０   入力部
２０   演算部
３０   学習部
３２   特徴量抽出部
３４   基本周波数系列抽出部
３６、５４    状態系列推定部
３８   モデルパラメータ学習部
４０   パラメータ記憶部
５０   変換処理部
５２   特徴量抽出部
５６   指令系列更新部
９０   出力部
１００ 基本周波数パターン予測装置
【図１】
0006468518.tif 000029
【図２】
0006468518.tif 000030
【図３】
0006468518.tif 000031
【図４】
0006468518.tif 000032
【図５】
0006468518.tif 000033
【図６】
0006468518.tif 000034
【図７】
0006468518.tif 000035
【図８】
0006468518.tif 000036
【図９】
0006468518.tif 000037
【図１０】
0006468518.tif 000038