(57)【要約】【課題】計算量を抑えて、藤崎モデルのパラメータを推定することができるようにする。【解決手段】基本周波数抽出部２によって、音声信号の時系列データから、観測基本周波数系列を抽出し、有声無声区間推定部３が、各時刻ｋにおける前記基本周波数の不確かさの程度を推定する。状態系列更新部５が、対数同時確率ｌｏｇ  ｐ（ｙ，ｏ，ｓ）を目的関数として、Ｖｉｔｅｒｂｉアルゴリズムを用いて、状態系列ｓを更新する。モデルパラメータ更新部６が、目的関数を増加させるように、各々非負値である指令関数ｏ、及びパラメータ群θを更新する。予め定められた収束条件を満たすまで、状態系列更新部５による計算、及びモデルパラメータ更新部６による更新を繰り返し行う。【選択図】図４
2018097114.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を入力として、隠れマルコフモデルの各時刻ｋの状態ｓkからなる状態系列ｓと、各時刻ｋにおける甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令ｕp［ｋ］及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令ｕa［ｋ］のペアｏ[ｋ]からなる指令関数ｏと、各時刻ｋにおける状態ｓkに応じたフレーズ指令の状態出力分布のパラメータＣ(p)[ｋ]及び各アクセント指令ｎの状態出力分布のパラメータＣn(a)を表すパラメータ群θとを推定する基本周波数モデルパラメータ推定装置であって、
前記音声信号の時系列データから、前記音声信号の各時刻ｋの基本周波数を表す観測基本周波数系列ｙを抽出する基本周波数抽出部と、
前記音声信号の時系列データについて、有声区間及び無声区間の何れであるかに応じて、各時刻ｋにおける前記基本周波数の不確かさの程度を推定する有声無声区間推定部と、
前記指令関数ｏの初期値を設定する初期値設定部と、
前回更新された前記指令関数ｏまたは前記指令関数ｏの初期値に基づいて、前記観測基本周波数系列ｙ、前記指令関数ｏ、及び状態系列ｓの対数同時確率ｌｏｇ  ｐ（ｙ，ｏ，ｓ）を目的関数として、前記目的関数を増加させるように、Ｖｉｔｅｒｂｉアルゴリズムを用いて、前記状態系列ｓを更新する状態系列更新部と、
前回更新された前記指令関数ｏまたは前記指令関数ｏの初期値、前記観測基本周波数系列ｙ、および各時刻ｋにおける前記不確かさの程度に基づいて、前記目的関数を増加させるように、各々非負値である前記指令関数ｏ、及び前記パラメータ群θを更新するモデルパラメータ更新部と、
予め定められた収束条件を満たすまで、前記状態系列更新部による更新、及び前記モデルパラメータ更新部による更新を繰り返させる収束判定部と、
を含む基本周波数モデルパラメータ推定装置。
【請求項２】
前記モデルパラメータ更新部は、前回更新された前記指令関数ｏまたは前記指令関数ｏの初期値、前記観測基本周波数系列ｙ、および各時刻ｋにおける前記不確かさの程度に基づいて、補助関数法を用いて、前記目的関数を増加させるように、各々非負値である前記指令関数ｏ、及び前記パラメータ群θを更新する請求項１記載の基本周波数モデルパラメータ推定装置。
【請求項３】
前記モデルパラメータ更新部は、
前回更新された各時刻ｌのフレーズ指令ｕp［ｌ］又は各時刻ｌのフレーズ指令ｕp［ｌ］の初期値に基づいて、時刻ｋ、ｌの組み合わせ（ｋ、ｌ）の各々について、補助変数λp,k,lを算出して更新し、かつ、前回更新された各時刻ｋのアクセント指令ｕa［ｋ］又は各時刻ｋのアクセント指令ｕa［ｋ］の初期値に基づいて、時刻ｋ、ｌの組み合わせ（ｋ、ｌ）の各々について、補助変数λa,k,lを算出して更新し、かつ、前回更新されたベースライン成分ｕb又はベースライン成分ｕbの初期値に基づいて、時刻ｋ、ｌの組み合わせ（ｋ、ｌ）の各々について、補助変数λb,k,lを算出して更新する補助変数更新部と、
前記観測基本周波数系列ｙと、各時刻ｋの前記不確かさの程度と、前記補助変数更新部によって更新された前記補助変数λp,k,l、λa,k,l、λb,k,lとに基づいて、前記目的関数の下界となる関数を補助関数として、前記補助関数を増加させるように、各時刻ｌのフレーズ指令ｕp［ｌ］及びアクセント指令ｕa［ｌ］と、ベースライン成分ｕbとを更新する指令関数更新部と、
予め定められた収束条件を満たすまで、前記補助変数更新部による更新、及び前記指令関数更新部による更新を繰り返させる収束判定部と、
前記指令関数更新部によって更新された各時刻ｌのフレーズ指令ｕp［ｌ］に基づいて、各時刻ｋのフレーズ指令の状態出力分布のパラメータＣ(p)[ｋ]を更新し、かつ、前記指令関数更新部よって更新された各時刻ｌのアクセント指令ｕa［ｌ］と、前記更新された状態系列ｓとに基づいて、各アクセント指令ｎの状態出力分布のパラメータＣn(a)を更新することにより、前記パラメータ群θを更新する状態出力分布更新部と、
を含む請求項２記載の基本周波数モデルパラメータ推定装置。
【請求項４】
音声信号を入力として、隠れマルコフモデルの各時刻ｋの状態ｓkからなる状態系列ｓと、各時刻ｋにおける甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令ｕp［ｋ］及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令ｕa［ｋ］のペアｏ[ｋ]からなる指令関数ｏと、各時刻ｋにおける状態ｓkに応じたフレーズ指令の状態出力分布のパラメータＣ(p)[ｋ]及び各アクセント指令ｎの状態出力分布のパラメータＣn(a)を表すパラメータ群θとを推定する基本周波数モデルパラメータ推定装置における基本周波数モデルパラメータ推定方法であって、
基本周波数抽出部が、前記音声信号の時系列データから、前記音声信号の各時刻ｋの基本周波数を表す観測基本周波数系列ｙを抽出し、
有声無声区間推定部が、前記音声信号の時系列データについて、有声区間及び無声区間の何れであるかに応じて、各時刻ｋにおける前記基本周波数の不確かさの程度を推定し、
初期値設定部が、前記指令関数ｏの初期値を設定し、
状態系列更新部が、前回更新された前記指令関数ｏまたは前記指令関数ｏの初期値に基づいて、前記観測基本周波数系列ｙ、前記指令関数ｏ、及び状態系列ｓの対数同時確率ｌｏｇ  ｐ（ｙ，ｏ，ｓ）を目的関数として、前記目的関数を増加させるように、Ｖｉｔｅｒｂｉアルゴリズムを用いて、前記状態系列ｓを更新し、
モデルパラメータ更新部が、前回更新された前記指令関数ｏまたは前記指令関数ｏの初期値、前記観測基本周波数系列ｙ、および各時刻ｋにおける前記不確かさの程度に基づいて、前記目的関数を増加させるように、各々非負値である前記指令関数ｏ、及び前記パラメータ群θを更新し、
収束判定部が、予め定められた収束条件を満たすまで、前記状態系列更新部による更新、及び前記モデルパラメータ更新部による更新を繰り返させる
基本周波数モデルパラメータ推定方法。
【請求項５】
前記モデルパラメータ更新部が更新することでは、前回更新された前記指令関数ｏまたは前記指令関数ｏの初期値、前記観測基本周波数系列ｙ、および各時刻ｋにおける前記不確かさの程度に基づいて、補助関数法を用いて、前記目的関数を増加させるように、各々非負値である前記指令関数ｏ、及び前記パラメータ群θを更新する請求項４記載の基本周波数モデルパラメータ推定方法。
【請求項６】
前記モデルパラメータ更新部が更新することでは、
補助変数更新部が、前回更新された各時刻ｌのフレーズ指令ｕp［ｌ］又は各時刻ｌのフレーズ指令ｕp［ｌ］の初期値に基づいて、時刻ｋ、ｌの組み合わせ（ｋ、ｌ）の各々について、補助変数λp,k,lを算出して更新し、かつ、前回更新された各時刻ｋのアクセント指令ｕa［ｋ］又は各時刻ｋのアクセント指令ｕa［ｋ］の初期値に基づいて、時刻ｋ、ｌの組み合わせ（ｋ、ｌ）の各々について、補助変数λa,k,lを算出して更新し、かつ、前回更新されたベースライン成分ｕb又はベースライン成分ｕbの初期値に基づいて、時刻ｋ、ｌの組み合わせ（ｋ、ｌ）の各々について、補助変数λb,k,lを算出して更新し、
指令関数更新部が、前記観測基本周波数系列ｙと、各時刻ｋの前記不確かさの程度と、前記補助変数更新部によって更新された前記補助変数λp,k,l、λa,k,l、λb,k,lとに基づいて、前記目的関数の下界となる関数を補助関数として、前記補助関数を増加させるように、各時刻ｌのフレーズ指令ｕp［ｌ］及びアクセント指令ｕa［ｌ］と、ベースライン成分ｕbとを更新し、
収束判定部が、予め定められた収束条件を満たすまで、前記補助変数更新部による更新、及び前記指令関数更新部による更新を繰り返させ、
状態出力分布更新部が、前記指令関数更新部によって更新された各時刻ｌのフレーズ指令ｕp［ｌ］に基づいて、各時刻ｋのフレーズ指令の状態出力分布のパラメータＣ(p)[ｋ]を更新し、かつ、前記指令関数更新部よって更新された各時刻ｌのアクセント指令ｕa［ｌ］と、前記更新された状態系列ｓとに基づいて、各アクセント指令ｎの状態出力分布のパラメータＣn(a)を更新することにより、前記パラメータ群θを更新する
請求項５記載の基本周波数モデルパラメータ推定方法。
【請求項７】
請求項１〜請求項３の何れか１項に記載の基本周波数モデルパラメータ推定装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、基本周波数モデルパラメータ推定装置、方法、及びプログラムに係り、特に、音声信号から、観測基本周波数系列のパラメータを推定する基本周波数モデルパラメータ推定装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
音声には言語情報以外にも様々な情報が含まれており、日常的なコミュニケーションに利用される。我々はこれらの非言語的な情報を工学的に扱う枠組みを構築することを目標として、非言語情報の解析・合成のための情報処理と信号処理の研究を進めている。
【０００３】
音声の基本周波数(F0)軌跡には、話者性、感情、意図などの非言語的な情報が豊富に含まれることが知られている。このため、F0軌跡のモデル化は、音声合成、話者認識、感情認識、対話システムなど、韻律情報が重要な役割を担う応用において極めて有効である。F0軌跡は、韻律句全体にわたってゆるやかに変化する成分(フレーズ成分) と、アクセントに従って急峻に変化する成分(アクセント成分) により構成される。これらの成分は、ヒトの甲状軟骨の並進運動と回転運動にそれぞれ対応していると解釈できるが、この解釈に基づき対数F0 軌跡をこれらの成分の和で表した数学的なモデル(以後、藤崎モデル)が提案されている（非特許文献１）。藤崎モデルは、フレーズ・アクセント指令の生起時刻、持続時間、各指令の大きさなどをパラメータとして有し、これらが適切に設定されたとき実測の軌跡を非常によく近似することが知られている。また、パラメータの言語学的対応の妥当性も広く確認されている。
【０００４】
先述の藤崎モデルのパラメータは、韻律的特徴を効率よく表現できるため、実測のF0軌跡から藤崎モデルのパラメータを高速かつ高精度に推定することができれば有用である。しかしながら、この問題は元来不良設定問題であること、また藤崎モデルには言語学的な知見により守られるべき制約が存在することなどから、必ずしも容易ではなかった。これまで発明者らは、藤崎モデルをベースとしたF0 パターンの確率的生成過程をモデル化し、藤崎モデルの最尤パラメータをExpectation-Maximization(EM) アルゴリズムにより推定する手法を提案している（非特許文献２〜４）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】H. Fujisaki, O. Fujimura, Ed., “A note on the physiological and physical basis for the phrase and accent components in the Voice fundamental frequency contour,” in Vocal Physiology: Voice Production, Mechanisms and Functions. New York, NY, USA: Raven, 1988.
【非特許文献２】H. Kameoka, J. L. Roux, and Y. Ohishi, “A statistical model of speech F0contours,” in Proc.SAPA, 2010, pp. 43−48.
【非特許文献３】K. Yoshizato, H. Kameoka, D. Saito, and S. Sagayama, “Statistical approach to fujisaki-model parameter estimation from speech signals and its quantitative evaluation,” in Proc. Speech Prosody 2012, 2012, pp. 175−178.
【非特許文献４】K. Yoshizato, H. Kameoka, D. Saito, and S. Sagayama, “Hidden Markov convolutive mixture model for pitch contour analysis of speech," in Proc. The 13th Annual Conference of the International Speech Communication Association (Interspeech 2012), Sep. 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記手法の中心的なアイデアは、フレーズ・アクセント指令列の生成プロセスを隠れマルコフモデル(HMM) により表現した点にあるが、これらの手法では、その計算時間の90%以上が各時刻における状態事後確率を算出するためのForward-Backward アルゴリズムに費やされていた。前記手法ではHMMの全ての状態での出力分布が正規分布で記述されるため、状態事後確率の逐次計算において多数の確率値の積和の計算のための指数計算と対数計算が必要になり、これが計算に時間を要する主要因となっていた。この処理部の計算量を抑えることができればアルゴリズム全体を効率化することができる。
【０００７】
本発明は、上記の事情を鑑みてなされたもので、計算量を抑えて、藤崎モデルのパラメータを推定することができる基本周波数モデルパラメータ推定装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために本発明に係る基本周波数モデルパラメータ推定装置は、音声信号を入力として、隠れマルコフモデルの各時刻ｋの状態ｓkからなる状態系列ｓと、各時刻ｋにおける甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令ｕp［ｋ］及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令ｕa［ｋ］のペアｏ[ｋ]からなる指令関数ｏと、各時刻ｋにおける状態ｓkに応じたフレーズ指令の状態出力分布のパラメータＣ(p)[ｋ]及び各アクセント指令ｎの状態出力分布のパラメータＣn(a)を表すパラメータ群θとを推定する基本周波数モデルパラメータ推定装置であって、前記音声信号の時系列データから、前記音声信号の各時刻ｋの基本周波数を表す観測基本周波数系列ｙを抽出する基本周波数抽出部と、前記音声信号の時系列データについて、有声区間及び無声区間の何れであるかに応じて、各時刻ｋにおける前記基本周波数の不確かさの程度を推定する有声無声区間推定部と、前記指令関数ｏの初期値を設定する初期値設定部と、前回更新された前記指令関数ｏまたは前記指令関数ｏの初期値に基づいて、前記観測基本周波数系列ｙ、前記指令関数ｏ、及び状態系列ｓの対数同時確率ｌｏｇ  ｐ（ｙ，ｏ，ｓ）を目的関数として、前記目的関数を増加させるように、Ｖｉｔｅｒｂｉアルゴリズムを用いて、前記状態系列ｓを更新する状態系列更新部と、前回更新された前記指令関数ｏまたは前記指令関数ｏの初期値、前記観測基本周波数系列ｙ、および各時刻ｋにおける前記不確かさの程度に基づいて、前記目的関数を増加させるように、各々非負値である前記指令関数ｏ、及び前記パラメータ群θを更新するモデルパラメータ更新部と、予め定められた収束条件を満たすまで、前記状態系列更新部による更新、及び前記モデルパラメータ更新部による更新を繰り返させる収束判定部と、を含んで構成されている。
【０００９】
本発明に係る基本周波数モデルパラメータ推定方法は、音声信号を入力として、隠れマルコフモデルの各時刻ｋの状態ｓkからなる状態系列ｓと、各時刻ｋにおける甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令ｕp［ｋ］及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令ｕa［ｋ］のペアｏ[ｋ]からなる指令関数ｏと、各時刻ｋにおける状態ｓkに応じたフレーズ指令の状態出力分布のパラメータＣ(p)[ｋ]及び各アクセント指令ｎの状態出力分布のパラメータＣn(a)を表すパラメータ群θとを推定する基本周波数モデルパラメータ推定装置における基本周波数モデルパラメータ推定方法であって、基本周波数抽出部が、前記音声信号の時系列データから、前記音声信号の各時刻ｋの基本周波数を表す観測基本周波数系列ｙを抽出し、有声無声区間推定部が、前記音声信号の時系列データについて、有声区間及び無声区間の何れであるかに応じて、各時刻ｋにおける前記基本周波数の不確かさの程度を推定し、初期値設定部が、前記指令関数ｏの初期値を設定し、状態系列更新部が、前回更新された前記指令関数ｏまたは前記指令関数ｏの初期値に基づいて、前記観測基本周波数系列ｙ、前記指令関数ｏ、及び状態系列ｓの対数同時確率ｌｏｇ  ｐ（ｙ，ｏ，ｓ）を目的関数として、前記目的関数を増加させるように、Ｖｉｔｅｒｂｉアルゴリズムを用いて、前記状態系列ｓを更新し、モデルパラメータ更新部が、前回更新された前記指令関数ｏまたは前記指令関数ｏの初期値、前記観測基本周波数系列ｙ、および各時刻ｋにおける前記不確かさの程度に基づいて、前記目的関数を増加させるように、各々非負値である前記指令関数ｏ、及び前記パラメータ群θを更新し、収束判定部が、予め定められた収束条件を満たすまで、前記状態系列更新部による更新、及び前記モデルパラメータ更新部による更新を繰り返させる。
【００１０】
本発明に係るプログラムは、上記の基本周波数モデルパラメータ推定装置の各部としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１１】
以上説明したように、本発明の基本周波数モデルパラメータ推定装置、方法、及びプログラムによれば、観測基本周波数系列ｙ、前記指令関数ｏ、及び状態系列ｓの対数同時確率ｌｏｇ  ｐ（ｙ，ｏ，ｓ）を目的関数として、Ｖｉｔｅｒｂｉアルゴリズムを用いて、前記状態系列ｓを更新し、各々非負値である前記指令関数ｏ、及び前記パラメータ群θを更新することを繰り返すことにより、計算量を抑えて、藤崎モデルのパラメータを推定することができる、という効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】藤崎モデルを説明するための図である。
【図２】ＨＭＭを説明するための図である。
【図３】状態の分割を説明するための図である。
【図４】本発明の実施の形態に係る基本周波数モデルパラメータ推定装置の構成を示す概略図である。
【図５】本発明の実施の形態に係る基本周波数モデルパラメータ推定装置における基本周波数モデルパラメータ推定処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本発明で提案する手法では、観測F0パターンの再現性が高い藤崎モデルのパラメータ推定を実現するために、藤崎モデルをベースにしたF0パターン生成過程の確率モデルを定式化し、それに基づいて観測F0パターンが生じたと仮定する。藤崎モデルのパラメータ推定アルゴリズムも、この確率モデルに基づく。
【００１４】
＜本発明の実施の形態の概要＞
非特許文献２〜非特許文献４で提案されたモデルでは、前記HMMの状態系列
2018097114.tif 000003
と出力値系列
2018097114.tif 000004
を変数にもつ。非特許文献２、３では、観測F0パターン
2018097114.tif 000005
が与えられた下で
2018097114.tif 000006
と
2018097114.tif 000007
の条件付同時確率
2018097114.tif 000008
を
2018097114.tif 000009
に関して周辺化した
2018097114.tif 000010
の条件付確率
2018097114.tif 000011
を、
2018097114.tif 000012
を隠れ変数としたEMアルゴリズムで局所最大化できることが示されている。一方、非特許文献４では、
2018097114.tif 000013
を
2018097114.tif 000014
に関して周辺化した
2018097114.tif 000015
の条件付確率
2018097114.tif 000016
を、
2018097114.tif 000017
を隠れ変数としたEM アルゴリズムで局所最大化できることが示されている。前者の方法は
2018097114.tif 000018
に対する非負値制約を
2018097114.tif 000019
の推定プロセスに組み込むことが難しかったのに対し、後者の方法は
2018097114.tif 000020
に対する非負値制約の下で局所最適な
2018097114.tif 000021
の推定が可能となったため高いパラメータの推定精度を実現している。しかし、後者の方法では
2018097114.tif 000022
が与えられた下でForward-Backward アルゴリズムにより
2018097114.tif 000023
の事後確率計算を行うステップ（Eステップ）が必要であり、このステップに膨大な計算量を要していた。そこで、本発明の実施の形態では、最適化規準を
2018097114.tif 000024
や
2018097114.tif 000025
の代わりに
2018097114.tif 000026
と
2018097114.tif 000027
の条件付同時確率
2018097114.tif 000028
とし、
2018097114.tif 000029
の事後確率計算ステップを
2018097114.tif 000030
の最適推定ステップに置き換えたパラメータ推定アルゴリズムを提案する。すなわち、
2018097114.tif 000031
が与えられた下で非負値制約の下での最適な
2018097114.tif 000032
を推定するステップと
2018097114.tif 000033
が与えられた下で最適な
2018097114.tif 000034
をViterbi アルゴリズムにより効率的に探索するステップを繰り返すことで
2018097114.tif 000035
の非負値制約の下で局所最適な
2018097114.tif 000036
と
2018097114.tif 000037
を推定することができる。本方法は、非特許文献４においてForward-BackwardアルゴリズムをViterbiアルゴリズムに置き換えたものになる点がポイントであり、一般にViterbi アルゴリズムはForward-Backwardアルゴリズムに比べ高速であるため、全体の計算量の効率化が期待される。
【００１５】
＜F0軌跡の確率モデル化＞
非特許文献４に記載されているF0軌跡の確率モデル化について説明する。
【００１６】
図１に示すように、藤崎モデル（非特許文献１参照）は、対数F0軌跡y(t)を以下の3つの成分の和
【００１７】
【数１】
2018097114.tif 000038
【００１８】
で表すモデルである。ここで、tは時刻、xp(t)はフレーズ成分、xa(t)はアクセント成分、xb はベースライン成分と呼ぶ時間によらない定数である。さらにフレーズ成分、アクセント成分はそれぞれ、フレーズ指令、アクセント指令と呼ばれる信号の2次のフィルタの出力
【００１９】
【数２】
2018097114.tif 000039
2018097114.tif 000040
2018097114.tif 000041
2018097114.tif 000042
【００２０】
であると仮定される。ここでup(t)はフレーズ指令と呼ぶパルス列であり、ua(t)はアクセント指令と呼ばれる矩形パルス列である。これらのうち非ゼロの値をとるのは各時刻で高々1つである。α、βはそれぞれ2次フィルタの応答の速さを表す角周波数であり、個人や発話によらずおおよそα=3rad/s、β=20rad/s程度の値をとることが知られている。
【００２１】
以下に、これまで発明者らが開発してきた藤崎モデルをベースにしたF0軌跡の生成過程の確率モデル（非特許文献４）について概説する。上述の藤崎モデルにおいて、フレーズ指令、アクセント指令はそれぞれデルタ列、矩形パルス列であり、さらにこれらは互いに重ならないという仮定が置かれる。非特許文献２〜４の手法の中心的なアイデアは、フレーズ・アクセント指令列の生成プロセスを隠れマルコフモデル(HMM)により表現した点にある。離散時刻のインデックスをkとし、フレーズ指令up[k]、アクセント指令ua[k]のペアを
2018097114.tif 000043
とする。各状態の出力分布を正規分布とした場合、出力系列
2018097114.tif 000044
は
【００２２】
【数３】
2018097114.tif 000045
【００２３】
に従う。ここでskは時刻k における状態を表す。すなわち、式(6)は平均
2018097114.tif 000046
と分散
2018097114.tif 000047
が状態遷移の結果として時間とともに変化することを意味する。HMM の利点は、状態遷移ネットワークの設計を通してモデル化したい系列に対して課すべき制約を柔軟に設けられる点にある。フレーズ指令、アクセント指令に対する先述の制約は例えば図２のような状態遷移ネットワークによって表現できる。加えて、それぞれの状態を同じ出力分布をもったいくつかの小状態に分割することで自己遷移の持続長をパラメータ化することもできる。
【００２４】
図２に、従来法におけるフレーズ・アクセント指令列の状態遷移モデルを示す（非特許文献２〜４参照）。状態r0ではμp[k]とμa[k] はいずれも0 となる。状態p0ではμp[k]は非負値C(p)[k]をとり、μa[k] は0 となる。状態r1では状態r0 と同様μp[k]とμa[k]はいずれも0 となる。従って状態r0 から状態p1を経由して状態r1に遷移する過程でμp[k]はパルス状の系列となる。状態r1 は状態a0,...,aN-1へのみ遷移することができ、これらの状態においてμa[k] はそれぞれ異なる値C(a)n をとり、μp[k] は0 となる。状態r1を経由せずに直接an からan′ (n≠n′)へ遷移することができないようにすることでμa[k] が矩形パルス列となるように制約することができる。
【００２５】
次に、図３に状態an を小状態に分割した例を示す。例えばこの図３のように全てのm≠0に対してan,m からan,m+1への状態遷移確率を1 に設定することで、an,0からan,mへの遷移確率が状態an がm ステップだけ持続する確率に対応し、アクセント指令の持続長を柔軟に制御できるようになる。同様にp1 とp0 とa0 も小状態に分割することで、フレーズ指令の持続長と指令間の間隔の長さの分布をパラメータ化することが可能になる。こうした分割をふまえて、以後は改めて
2018097114.tif 000048
2018097114.tif 000049
と表記する。以上のHMM の構成は以下となる。
【００２６】
【数４】
2018097114.tif 000050
【００２７】
上記のHMMから出力された指令関数up[k]、ua[k]にそれぞれ異なるフィルタGp[k]とGa[k] が畳み込まれたものがフレーズ成分とアクセント成分
【００２８】
【数５】
2018097114.tif 000051
2018097114.tif 000052
【００２９】
となる。ただし、＊は離散時間kに関する畳込みを表す。また、Gp[k]とGa[k]はそれぞれGp(t) とGa(t)を離散時間表現である。以上より、F0軌跡の離散時間表現x[k]は
【００３０】
【数６】
2018097114.tif 000053
【００３１】
となる。xbはベースライン成分を表す。
【００３２】
無声区間においてはF0は観測されないことがあったり、観測されていたとしても信頼できない場合がある。また、F0抽出において推定誤りが生じる場合もある。そこで観測F0パターンy[k]を、上述のF0パターンモデルx[k]とノイズ
2018097114.tif 000054
との和として表すことで、観測F0パターンの不確実性を分散ｖ2n[k]の設定を通して組み込むことができる。すなわち、観測F0パターンy[k]を
【００３３】
【数７】
2018097114.tif 000055
【００３４】
と表現することで、信頼のおける区間かどうかに関わらず全ての観測区間を統一的に扱える。ここで、xn[k]を周辺化すると、
2018097114.tif 000056
が与えられたもとでの
2018097114.tif 000057
の条件つき確率密度関数
2018097114.tif 000058
は
【００３５】
【数８】
2018097114.tif 000059
【００３６】
となる。式(6) より、状態系列
2018097114.tif 000060
が与えられたもとでの
2018097114.tif 000061
の条件つき確率密度関数
2018097114.tif 000062
は
2018097114.tif 000063
で与えられる。ここで、
2018097114.tif 000064
は出力分布の平均と分散の系列を表す。状態系列
2018097114.tif 000065
の確率分布
2018097114.tif 000066
はHMMにおけるマルコフ性の仮定より、遷移確率の積
2018097114.tif 000067
で与えられる。
【００３７】
＜藤崎モデルパラメータ推定アルゴリズム＞
非特許文献２、３では、観測F0 系列
2018097114.tif 000068
が与えられたときの状態系列
2018097114.tif 000069
の事後確率
2018097114.tif 000070
を最大化する
2018097114.tif 000071
をEM アルゴリズムにより探索するアルゴリズムが提案されており、非特許文献４では、観測F0系列
2018097114.tif 000072
が与えられたときの状態出力系列
2018097114.tif 000073
の事後確率
2018097114.tif 000074
を
2018097114.tif 000075
の各要素が非負値となるように最大化する
2018097114.tif 000076
をEMアルゴリズムと補助関数法により探索するアルゴリズムが提案されている。これらに対し本発明は、観測F0系列
2018097114.tif 000077
が与えられたときの状態出力系列
2018097114.tif 000078
と状態系列
2018097114.tif 000079
の同時事後確率
2018097114.tif 000080
を最大化する
2018097114.tif 000081
と
2018097114.tif 000082
を、
2018097114.tif 000083
を固定した上で
2018097114.tif 000084
が最大となるように
2018097114.tif 000085
を更新するステップと、
2018097114.tif 000086
を固定した上で
2018097114.tif 000087
が増大するように
2018097114.tif 000088
を非負値制約下で更新するステップを反復することで探索するアルゴリズムである。
【００３８】
＜状態系列更新ステップ＞
状態系列更新ステップは、
2018097114.tif 000089
を固定した上で
2018097114.tif 000090
が最大となるように
2018097114.tif 000091
を更新するステップである。
【００３９】
2018097114.tif 000092
で
2018097114.tif 000093
に依存する項は
2018097114.tif 000094
であるため、
2018097114.tif 000095
を最大化する
2018097114.tif 000096
を求める問題は、
2018097114.tif 000097
を出力系列としたHMM の状態系列探索問題と同形である。従ってViterbi アルゴリズムを用いて解決することができる。
【００４０】
＜状態出力系列更新ステップ＞
状態出力系列更新ステップは、
2018097114.tif 000098
を固定した上で
2018097114.tif 000099
が最大となるように
2018097114.tif 000100
を更新するステップである。
【００４１】
2018097114.tif 000101
で
2018097114.tif 000102
に依存する項は
2018097114.tif 000103
であり、
2018097114.tif 000104
と
2018097114.tif 000105
はそれぞれ
【００４２】
【数９】
2018097114.tif 000106
2018097114.tif 000107
【００４３】
で与えられる。ただしGb[k]=δ[k]（クロネッカーのデルタ）である。指令関数up[k]、ua[k] が非負であるという条件の下で
2018097114.tif 000108
を最大化する
2018097114.tif 000109
を直接求めるのは難しいが、補助関数法に基づく反復計算により局所的に最大化する
2018097114.tif 000110
を探索することができる。補助関数法は最大化したい目的関数の下界となる関数を反復的に増加させていくことで目的関数を増加させる手法である。式(12) の下界となる関数は、Jensen の不等式
【００４４】
【数１０】
2018097114.tif 000111
【００４５】
が成り立つことを利用して設計することができる。ただし、
2018097114.tif 000112
を補助変数と呼び、
2018097114.tif 000113
を満たす。式(14) の等号成立条件は
【００４６】
【数１１】
2018097114.tif 000114
【００４７】
である。
【００４８】
よって、
【００４９】
【数１２】
2018097114.tif 000115
【００５０】
が成り立ち、右辺を補助関数
2018097114.tif 000116
と呼ぶ。この補助関数をui[l]に関して偏微分すると、
【００５１】
【数１３】
2018097114.tif 000117
【００５２】
となるため、これを0 と置くことで
【００５３】
【数１４】
2018097114.tif 000118
【００５４】
を得る。以上より、式(15)、式(18) を反復することで
2018097114.tif 000119
を増加させることができる。
【００５５】
また、
2018097114.tif 000120
を最大にするHMM の状態出力分布のパラメータ
2018097114.tif 000121
は
2018097114.tif 000122
に関する偏微分をそれぞれ0 と置くことで
【００５６】
【数１５】
2018097114.tif 000123
2018097114.tif 000124
【００５７】
で与えられる。ただし、
2018097114.tif 000125
はsk= anであるようなk の集合
2018097114.tif 000126
を表し、
2018097114.tif 000127
はその集合の要素数を表す。
【００５８】
＜システム構成＞
【００５９】
次に、観測された音声信号の時系列データを解析して、藤崎モデルのパラメータを推定する基本周波数モデルパラメータ推定装置に、本発明を適用した場合を例にして、本発明の実施の形態を説明する。
【００６０】
図４に示すように、本発明の実施の形態に係る基本周波数モデルパラメータ推定装置１００は、ＣＰＵと、ＲＡＭと、後述する基本周波数モデルパラメータ推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００６１】
図４に示すように、基本周波数モデルパラメータ推定装置１００は、記憶部１と、基本周波数系列抽出部２と、有声無声区間推定部３と、初期値設定部４と、状態系列更新部５と、モデルパラメータ更新部６と、収束判定部７と、出力部９とを備えている。
【００６２】
記憶部１は、観測された音声信号の時系列データを記憶する。
【００６３】
基本周波数系列抽出部２は、音声信号の時系列データから、基本周波数の時系列データを抽出し、それらを離散時間ｋで表現するように変換して、音声信号の基本周波数の時系列データである観測基本周波数系列
2018097114.tif 000128
とする。この基本周波数の抽出処理は、周知技術により実現でき、例えば、非特許文献５（H. Kameoka, "Statistical speech spectrum model incorporating all-pole vocal tract model and F0 contour generating process model," in Tech. Rep. IEICE, 2010, in Japanese.）に記載の手法を利用して、８ｍｓごとに基本周波数を抽出する。
【００６４】
有声無声区間推定部３は、音声信号の時系列データから、有声区間と無声区間とを特定し、離散時間ｋ毎に、有声区間であるか無声区間であるかに応じて、観測Ｆ0［ｋ］値の不確かさの程度vn2[k]を推定する。無声区間では不確かさの程度を大きく推定し、有声区間では不確かさの程度を小さく推定する。
【００６５】
初期値設定部４は、後述する処理で用いる各パラメータである、アクセント指令の数N、ubを定数とみなし初期値を設定する。初期値として適当な値を設定する。また、初期値設定部４は、HMMの小状態の個数、遷移確率φi′,Iを、予め用意した正解データから学習して決定する。また、初期値設定部４は、従来既知の藤崎モデルのパラメータ推定法を用いて、
2018097114.tif 000129
の初期値（非負値）を設定する。また、初期値設定部４は、Ｃ(p)[k]の初期値として、
2018097114.tif 000130
のフレーズ指令関数の振幅を線形補間したものを設定し、Ｃn(a)の初期値として適切な値を設定する。
【００６６】
本実施の形態では、藤崎モデルパラメータ
2018097114.tif 000131
と
2018097114.tif 000132
の局所最適解は、状態系列更新部５とモデルパラメータ更新部６の2つのステップを繰り返すことで得られる。
【００６７】
状態系列更新部５は、前回更新された指令関数
2018097114.tif 000133
又は指令関数
2018097114.tif 000134
の初期値に基づいて、観測基本周波数系列
2018097114.tif 000135
、指令関数
2018097114.tif 000136
、及び状態系列
2018097114.tif 000137
の対数同時確率
2018097114.tif 000138
を目的関数として、前記目的関数を増加させるように、Ｖｉｔｅｒｂｉアルゴリズムを用いて、状態系列
2018097114.tif 000139
を更新する。具体的には、
2018097114.tif 000140
が最大となるように、Ｖｉｔｅｒｂｉアルゴリズムを用いて、状態系列
2018097114.tif 000141
を更新する。
【００６８】
モデルパラメータ更新部６は、前回更新された指令関数
2018097114.tif 000142
または指令関数
2018097114.tif 000143
の初期値、観測基本周波数系列
2018097114.tif 000144
、および各時刻ｋにおける不確かさの程度vn2[k]に基づいて、目的関数を増加させるように、補助関数法を用いて、各々非負値である指令関数
2018097114.tif 000145
、及びパラメータ群
2018097114.tif 000146
を更新する。
【００６９】
具体的には、モデルパラメータ更新部６は、補助変数更新部６１、指令関数更新部６２、収束判定部６３、及び状態出力分布更新部６４を備えている。
【００７０】
補助変数更新部６１は、前回更新された各時刻ｋのフレーズ指令ｕp［ｋ］（又は初期値）に基づいて、時刻ｋ、ｌ（ｌ＜ｋ）の全ての組み合わせ（ｋ、ｌ）の各々について、上記の式（１５）に従って、補助変数λp,k,lを算出して更新する。また、補助変数更新部６１は、前回更新された各時刻ｋのアクセント指令ｕa［ｋ］（又は初期値）に基づいて、（ｋ、ｌ）の全ての組み合わせについて、上記の式（１５）に従って、補助変数λa,k,lを算出して更新する。
【００７１】
また、補助変数更新部６１は、ｕbに基づいて、（ｋ、ｌ）の全ての組み合わせについて、上記の式（１５）に従って、補助変数λb,k,lを算出して更新する。
【００７２】
指令関数更新部６２は、基本周波数系列
2018097114.tif 000147
と、不確かさの程度vn2 [k]と、状態系列更新部５によって更新された状態系列
2018097114.tif 000148
と、補助変数更新部６１によって更新された補助変数λp,k,lとに基づいて、上記式（１８）に従って、非負値である各時刻ｌのフレーズ指令ｕp［ｌ］を更新する。
【００７３】
また、指令関数更新部６２は、基本周波数系列
2018097114.tif 000149
と、不確かさの程度vn2[k]と、状態系列更新部５によって更新された状態系列
2018097114.tif 000150
と、補助変数更新部６１によって更新された補助変数λa,k,lとに基づいて、上記式（１８）に従って、非負値である各時刻ｌのアクセント指令ｕa［ｌ］を更新する。
【００７４】
また、指令関数更新部６２は、基本周波数系列
2018097114.tif 000151
と、不確かさの程度vn2 [k]と、補助変数更新部６１によって更新された補助変数λb,k,lとに基づいて、上記式（１８）に従って、ベース成分ｕbを更新する。
【００７５】
収束判定部６３は、予め定められた収束条件を満足するか否かを判定し、収束条件を満足していない場合には、補助変数更新部６１及び指令関数更新部６２の各処理を繰り返す。収束判定部６３は、収束条件を満足したと判定した場合には、状態出力分布更新部６４による処理に移行する。
【００７６】
収束条件としては、繰り返し回数ｓが予め定めた回数Ｓ（例えば、２０回）に達したことを用いればよい。なお、s-1回目のパラメータを用いたときの補助関数の値とs回目のパラメータを用いたときの補助関数の値との差が、予め定めた閾値よりも小さくなったことを、収束条件として用いてもよい。
【００７７】
状態出力分布更新部６４は、指令関数更新部６２によって更新された各時刻ｋのフレーズ指令ｕp［ｋ］に基づいて、上記式（１９）に従って、各時刻ｋのフレーズ指令の状態出力分布のパラメータＣ(p)[ｋ]を更新すると共に、指令関数更新部６２によって更新された各時刻ｋのアクセント指令ｕa［ｋ］と、状態系列更新部５によって更新された状態系列ｓとに基づいて、上記式（２０）に従って、各アクセント指令ｎの状態出力分布のパラメータＣn(a)を更新することにより、パラメータ群
2018097114.tif 000152
を更新する。
【００７８】
収束判定部７は、予め定められた収束条件を満足するか否かを判定し、収束条件を満足していない場合には、上記の更新値を改めて
2018097114.tif 000153
と
2018097114.tif 000154
に代入して、反復アルゴリズム（状態系列更新部５及びモデルパラメータ更新部６の各処理）を繰り返す。収束判定部７は、収束条件を満足したと判定した場合には、出力部９による処理に移行する。
【００７９】
収束条件としては、繰り返し回数ｒが予め定めた回数Ｒ（例えば、２０回）に達したことを用いればよい。なお、ｒ-1回目のパラメータを用いたときの目的関数の値とｒ回目のパラメータを用いたときの目的関数の値との差が、予め定めた閾値よりも小さくなったことを、収束条件として用いてもよい。
【００８０】
そして、出力部９により、指令関数
2018097114.tif 000155
、パラメータ群
2018097114.tif 000156
、状態系列
2018097114.tif 000157
を出力する。
【００８１】
＜基本周波数モデルパラメータ推定装置の作用＞
次に、本実施の形態に係る基本周波数モデルパラメータ推定装置１００の作用について説明する。まず、分析対象として、観測された音声信号の時系列データが、基本周波数モデルパラメータ推定装置１００に入力され、記憶部１に格納される。そして、基本周波数モデルパラメータ推定装置１００において、図５に示す基本周波数モデルパラメータ推定処理ルーチンが実行される。
【００８２】
まず、ステップＳ１０１において、記憶部１から、音声信号の時系列データを読み込み、各時刻ｋの基本周波数Ｆ0からなる基本周波数系列
2018097114.tif 000158
を抽出する。ステップＳ１０２において、音声信号の時系列データに基づいて、有声区間、無声区間を特定し、各時刻ｋの基本周波数の不確かさの程度vn2 [ｋ]を推定する。
【００８３】
次のステップＳ１０３では、各パラメータN、ubに対して適切な初期値を設定すると共に、HMMの小状態の個数、遷移確率φi′,Iを、予め用意した正解データから学習して決定する。また、従来手法により指令系列
2018097114.tif 000159
を推定して、初期値として設定すると共に、Ｃ(p)[k]の初期値及びＣn(a)の初期値を設定する。
【００８４】
そして、ステップＳ１０４において、上記ステップＳ１０３で設定された指令系列
2018097114.tif 000160
の初期値、または後述するステップＳ１０５で前回更新された指令系列
2018097114.tif 000161
に基づいて、
2018097114.tif 000162
が最大となるように、Ｖｉｔｅｒｂｉアルゴリズムを用いて、状態系列
2018097114.tif 000163
を更新する。
【００８５】
ステップＳ１０５では、上記ステップＳ１０３で設定された各時刻ｋのフレーズ指令ｕp［ｋ］の初期値、又は後述するステップＳ１０６で前回更新された各時刻ｋのフレーズ指令ｕp［ｋ］に基づいて、時刻ｋ、ｌ（ｌ＜ｋ）の全ての組み合わせ（ｋ、ｌ）の各々について、上記の式（１５）に従って、補助変数λp,k,lを算出して更新する。上記ステップＳ１０３で設定された各時刻ｋのアクセント指令ｕa［ｋ］の初期値、又は後述するステップＳ１０６で前回更新された各時刻ｋのアクセント指令ｕa［ｋ］に基づいて、（ｋ、ｌ）の全ての組み合わせについて、上記の式（１５）に従って、補助変数λa,k,lを算出して更新する。また、上記ステップＳ１０３で設定されたｕbの初期値、又は後述するステップＳ１０６で前回更新されたｕbに基づいて、（ｋ、ｌ）の全ての組み合わせについて、上記の式（１５）に従って、補助変数λb,k,lを算出して更新する。
【００８６】
次のステップＳ１０６では、上記ステップＳ１０１で算出された基本周波数系列
2018097114.tif 000164
と、上記ステップＳ１０２で算出された各時刻ｋの不確かさの程度vn2[ｋ]と、上記ステップＳ１０４で更新された状態系列
2018097114.tif 000165
と、上記ステップＳ１０５で更新された補助変数λp,k、l、λa,k,l、λb,k,lとに基づいて、上記式（１８）に従って、非負値である各時刻ｌのフレーズ指令ｕp［ｌ］及びアクセント指令ｕa［ｌ］からなる指令系列
2018097114.tif 000166
とベース成分ｕbとを更新する。
【００８７】
次のステップＳ１０７では、収束条件として、繰り返し回数ｓが、Ｓに到達したか否かを判定し、繰り返し回数ｓがＳに到達していない場合には、収束条件を満足していないと判断して、上記ステップＳ１０５へ戻り、上記ステップＳ１０５〜ステップＳ１０６の処理を繰り返す。一方、繰り返し回数ｓがＳに到達した場合には、収束条件を満足したと判断し、ステップＳ１０８で、上記ステップＳ１０６で更新された各時刻ｋのフレーズ指令ｕp［ｋ］に基づいて、上記式（１９）に従って、各時刻ｋのフレーズ指令の状態出力分布のパラメータＣ(p)[ｋ]を更新すると共に、上記ステップＳ１０６で更新された各時刻ｋのアクセント指令ｕa［ｋ］と、上記ステップＳ１０４で更新された状態系列
2018097114.tif 000167
とに基づいて、上記式（２０）に従って、各アクセント指令ｎの状態出力分布のパラメータＣn(a)を更新することにより、パラメータ群
2018097114.tif 000168
を更新する。
【００８８】
そして、ステップＳ１０９において、収束条件として、繰り返し回数ｒが、Ｒに到達したか否かを判定し、繰り返し回数ｒがＲに到達していない場合には、収束条件を満足していないと判断して、上記ステップＳ１０４へ戻り、上記ステップＳ１０４〜ステップＳ１０８の処理を繰り返す。一方、繰り返し回数ｒがＲに到達した場合には、収束条件を満足したと判断し出力部９により、指令関数
2018097114.tif 000169
、パラメータ群
2018097114.tif 000170
、状態系列
2018097114.tif 000171
を出力して、基本周波数モデルパラメータ推定処理ルーチンを終了する。
【００８９】
＜実験＞
表１は、音声データ長: 3.62 秒の音声データに従来法（非特許文献４）と本発明の実施の形態の手法を適用した際の各ステップに要した計算時間を示している。
【００９０】
【表１】
2018097114.tif 000172
【００９１】
実装環境は下記のとおりである。
【００９２】
・CPU: Core i7-6700K 4.0GHz
・RAM: 32GB
・OS: Windows 7 SP1
・MATLAB R2016a
【００９３】
本発明の実施の形態の手法の状態系列s の更新ステップは従来法の状態系列s の事後確率更新ステップに比べ70 倍程度高速化し、全体で16 倍程度高速化できることができた。
【００９４】
以上説明したように、本発明の実施の形態に係る基本周波数モデルパラメータ推定装置によれば、観測基本周波数系列、指令関数、及び状態系列の対数同時確率
2018097114.tif 000173
を目的関数として、Ｖｉｔｅｒｂｉアルゴリズムを用いて、状態系列を更新し、指令関数、及びパラメータ群θを更新することを繰り返すことにより、計算量を抑えて、藤崎モデルのパラメータを推定することができる。
【００９５】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００９６】
例えば、上述の基本周波数モデルパラメータ推定装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００９７】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００９８】
１ 記憶部
２ 基本周波数系列抽出部
３ 有声無声区間推定部
４ 初期値設定部
５ 状態系列更新部
６ モデルパラメータ更新部
７ 収束判定部
６１ 補助変数更新部
６２ 指令関数更新部
６３ 収束判定部
６４ 状態出力分布更新部
１００ 基本周波数モデルパラメータ推定装置
【図１】
2018097114.tif 000174
【図２】
2018097114.tif 000175
【図３】
2018097114.tif 000176
【図４】
2018097114.tif 000177
【図５】
2018097114.tif 000178