(57)【要約】【課題】音声情報だけでなく言語情報を利用したパラメータ推定ができる基本周波数モデルパラメータ推定装置を提供する。【解決手段】発話音声のＦ０実測値時系列を、ベース成分と、フレーズ成分Ｆ０時系列と、アクセント成分Ｆ０時系列に分離する成分分離部と、発話音声の各音声単位の始端および終端の時刻が記述された時刻情報付き音声記号ラベル系列と、これに対応する指令応答型モデルのパラメータの言語学的制約を記述したモデルパラメータ制約情報とを取得し、フレーズ指令、アクセント指令の各パラメータが取りうる値の範囲を、言語学的に妥当な範囲に制限するパラメータ制限値を設定するパラメータ制限値設定部と、フレーズ成分Ｆ０時系列とベース成分の和と、その推定値の誤差、およびアクセント成分Ｆ０時系列とその推定値の誤差がパラメータ制限値の範囲で最小化するよう、指令応答型モデルのパラメータを推定するパラメータ推定部を含む。【選択図】図１
2020180998.tif 000002
【特許請求の範囲】
【請求項１】
発話音声のＦ０実測値時系列を、ベース成分と、フレーズ成分Ｆ０時系列と、アクセント成分Ｆ０時系列に分離する成分分離部と、
前記発話音声の各音声単位の始端および終端の時刻が記述された時刻情報付き音声記号ラベル系列と、これに対応する指令応答型モデルのパラメータの言語学的制約を記述したモデルパラメータ制約情報とを取得し、フレーズ指令、アクセント指令の各パラメータが取りうる値の範囲を、言語学的に妥当な範囲に制限するパラメータ制限値を設定するパラメータ制限値設定部と、
前記フレーズ成分Ｆ０時系列とベース成分の和と、その推定値の誤差、および前記アクセント成分Ｆ０時系列とその推定値の誤差が前記パラメータ制限値の範囲で最小化するよう、指令応答型モデルのパラメータを推定するパラメータ推定部を含む
基本周波数モデルパラメータ推定装置。
【請求項２】
請求項１に記載の基本周波数モデルパラメータ推定装置であって、
所定の区間における前記Ｆ０実測値時系列の区間最小値とこれに対応する時刻とを、区間最小周波数系列として抽出する区間最小周波数系列抽出部を含み、
前記成分分離部は、
前記区間最小周波数系列の最小値に基づいて前記ベース成分を分離し、前記区間最小周波数系列に基づく区間最小周波数関数から前記ベース成分を差し引いたものを前記フレーズ成分Ｆ０時系列とし、前記Ｆ０実測値時系列から前記区間最小周波数関数を差し引いたものを前記アクセント成分Ｆ０時系列とする
基本周波数モデルパラメータ推定装置。
【請求項３】
請求項１または２に記載の基本周波数モデルパラメータ推定装置であって、
前記フレーズ成分Ｆ０時系列をＦ０ｐとし、フレーズ成分の変動を示す関数をＧＰとし、前記モデルパラメータ制約情報から得られるフレーズ指令開始モーラの直前モーラの終了時刻からＣ秒（０＜Ｃ＜０．３３３）を差し引いた時刻をＴ０とし、Ｆ０ｐ（Ｔ０＋Ｃ）＝ＡＰ×ＧＰ（Ｃ）を満たすフレーズ指令の大きさＡＰをパラメータ推定の初期値として求める初期パラメータ生成部を含む
基本周波数モデルパラメータ推定装置。
【請求項４】
請求項１または２に記載の基本周波数モデルパラメータ推定装置であって、
前記時刻情報付き音声記号ラベル系列と、前記モデルパラメータ制約情報から得られるアクセント指令開始モーラの直前モーラの終了時刻をＴ１、アクセント指令終了モーラの直前モーラの終了時刻をＴ２とし、前記アクセント成分Ｆ０時系列をＦ０ａとし、アクセント成分の変動を示す関数をＧａとし、
【数２】
2020180998.tif 000004
を満たすアクセント指令の大きさＡａをパラメータ推定の初期値として求める初期パラメータ生成部を含む
基本周波数モデルパラメータ推定装置。
【請求項５】
発話音声のＦ０実測値時系列を、ベース成分と、フレーズ成分Ｆ０時系列と、アクセント成分Ｆ０時系列に分離するステップと、
前記発話音声の各音声単位の始端および終端の時刻が記述された時刻情報付き音声記号ラベル系列と、これに対応する指令応答型モデルのパラメータの言語学的制約を記述したモデルパラメータ制約情報とを取得し、フレーズ指令、アクセント指令の各パラメータが取りうる値の範囲を、言語学的に妥当な範囲に制限するパラメータ制限値を設定するステップと、
前記フレーズ成分Ｆ０時系列とベース成分の和と、その推定値の誤差、および前記アクセント成分Ｆ０時系列とその推定値の誤差が前記パラメータ制限値の範囲で最小化するよう、指令応答型モデルのパラメータを推定するステップを含む  基本周波数モデルパラメータ推定方法。
【請求項６】
コンピュータを請求項１から４の何れかに記載の基本周波数モデルパラメータ推定装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の声の基本周波数の変化を記述した指令応答型モデルのパラメータを推定する基本周波数モデルパラメータ推定装置、基本周波数モデルパラメータ推定方法、プログラムに関する。
【背景技術】
【０００２】
人間の声の高さの変化、すなわち、基本周波数（以下Ｆ０と略す）の変化は、声帯付近での声の生成過程をモデル化した指令応答型モデル、いわゆる藤崎モデルによってうまく記述できることが知られている（非特許文献１）。
【０００３】
非特許文献１のモデルでは、１）ベースラインの声の高さを表わすベース成分、２）イントネーション句単位での緩やかなＦ０変化を表現する役割を担っていると考えられるフレーズ成分、３）アクセント句単位での急峻なＦ０変化を表現する役割を担っていると考えられるアクセント成分、の３つの成分が重畳した結果として、観測されたＦ０が生成されると考える。
【０００４】
ベース成分は固定値をパラメータとして用いる場合が多い。フレーズ成分はフレーズ指令という句の冒頭付近で生じさせるスパイクの高さと位置をパラメータとして、それらに応じて時間変化を生じさせる関数モデルから生成される。アクセント成分はアクセント指令というアクセント表出のための声の高さの立ち上がりと立ち下がりの大きさと時間軸上の位置をパラメータとして、それらに応じて時間変化を生じさせる関数モデルから生成される。
【０００５】
これらのパラメータは言語学的な知見との対応があり、それらを高速かつ高精度に推定することができれば、音声に含まれるＦ０変化の理解にとって有用である。
【０００６】
非特許文献２の方法では、値が仮設定された前述のパラメータを用いて前述の指令応答型モデルから出力されたＦ０推定値と、読み込んだＦ０実測値との２乗誤差が最小化されるように、前述のパラメータの値を随時更新する。非特許文献２の方法では、Ｆ０の推定値と実測値との誤差がしきい値を越えた時に新たなパラメータを導入する。この処理を音声の先頭から末尾に向かって繰り返すことで、Ｆ０実測値に合致したＦ０推定値を出力できるパラメータの数と値を決定する。
【０００７】
非特許文献３の方法は、前述のパラメータが、隠れマルコフモデルから生成されると仮定する。非特許文献３の方法では、隠れマルコフモデルが指令応答型モデルの各パラメータを正しく生成できるように、言語音声に対して人手で正確に各パラメータの時刻と大きさを付与した大量の学習データを用いて、隠れマルコフモデルの確率値の調整が行われる。学習データの中では正しい順序と間隔で指令応答型モデルのパラメータが並んでいるため、正しく学習されれば、言語学的にも妥当なパラメータを生成する隠れマルコフモデルとなる。
【０００８】
非特許文献４の方法では、最初に、時系列データであるＦ０実測値をフーリエ変換によって、フレーズ成分とアクセント成分に分離する。具体的には、Ｆ０実測値時系列に対しフーリエ変換を用い、ローパスフィルタをかけてＦ０実測値の大まかな変化を作り出す成分のみを通過させ、それらから再構成された系列をフレーズ成分、一方の遮断された成分から再構成された系列をアクセント成分とする。続いて、山登り法を用いて、各成分の２乗誤差を減らすことで、前述の指令応答型モデルのパラメータの最適化を実現する。これを発話を構成する句毎に実施する。なお、ローパスフィルタによる処理に関しては非特許文献５に説明がある。
【０００９】
非特許文献４を含め、符号化された実データの時系列をフーリエ変換する際には計算量を減らすため高速フーリエ変換（非特許文献５）が用いられる。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Hiroya Fujisaki and Keikichi Hirose, Analysis of Voice fundamental frequency contours for declarative sentences of Japanese, J.Acoust. Soc. Jpn. (E) 5, 4 (1984).
【非特許文献２】Edouard Geoffrois, A pitch contour analysis guided by prosodic event detection, Proc. of Eurospeech, pp.793-796, 1993.
【非特許文献３】亀岡弘和、ルルージョナトン、大石康智、「音声F0パターン生成過程の確率モデル」、日本音響学会秋季研究発表会講演論文集、1-1-3、pp.207-210、2010
【非特許文献４】Hartmut R. Pfitzinger et al., Comparison of Fujisaki-Model Extractors and F0 Stylizers, Proc. of Interspeech, pp.2455-2458, 2009.
【非特許文献５】Cooley, James W., and John W. Tukey. “An algorithm for the machine calculation of complex Fourier series.” Mathematics of computation 19.90 (1965): 297-301.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
非特許文献２の方法では、Ｆ０の推定値と実測値との誤差削減のみに基づいてパラメータを最適化し、誤差の大きさに基づいてパラメータの導入、つまり、パラメータの数を決定している。そのため、アクセント持続時間が負の値になるような言語学的に不適切なパラメータの調節結果が得られるという課題や、アクセント句数やイントネーションフレーズ数といった発話された文言の言語学的な情報と対応しない場合が生じるという課題がある。
【００１２】
そこで本発明では、音声情報だけでなく言語情報を利用したパラメータ推定ができる基本周波数モデルパラメータ推定装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の基本周波数モデルパラメータ推定装置は、成分分離部と、パラメータ制限値設定部と、パラメータ推定部を含む。
【００１４】
成分分離部は、発話音声のＦ０実測値時系列を、ベース成分と、フレーズ成分Ｆ０時系列と、アクセント成分Ｆ０時系列に分離する。パラメータ制限値設定部は、発話音声の各音声単位の始端および終端の時刻が記述された時刻情報付き音声記号ラベル系列と、これに対応する指令応答型モデルのパラメータの言語学的制約を記述したモデルパラメータ制約情報とを取得し、フレーズ指令、アクセント指令の各パラメータが取りうる値の範囲を、言語学的に妥当な範囲に制限するパラメータ制限値を設定する。パラメータ推定部は、フレーズ成分Ｆ０時系列とベース成分の和と、その推定値の誤差、およびアクセント成分Ｆ０時系列とその推定値の誤差がパラメータ制限値の範囲で最小化するよう、指令応答型モデルのパラメータを推定する。
【発明の効果】
【００１５】
本発明の基本周波数モデルパラメータ推定装置によれば、音声情報だけでなく言語情報を利用したパラメータ推定ができる。
【図面の簡単な説明】
【００１６】
【図１】実施例１の基本周波数モデルパラメータ推定装置の構成を示すブロック図。
【図２】時刻情報付き音声記号ラベル系列の例を示す図。
【図３】モデルパラメータ制約情報の例を示す図。
【図４】実施例１の基本周波数モデルパラメータ推定装置の動作を示すフローチャート。
【図５】区間最小周波数系列抽出部と成分分離部の処理結果の例を示す図であって、図５（ａ）は、Ｆ０実測値時系列の例を、図５（ｂ）は、区間最小周波数系列の例を、図５（ｃ）は、区間最小周波数関数の例を、図５（ｄ）は、ベース成分の例を、図５（ｅ）は、フレーズ成分Ｆ０時系列の例を、図５（ｆ）は、アクセント成分Ｆ０時系列の例を、それぞれ示す。
【図６】変形例１の基本周波数モデルパラメータ推定装置の構成を示すブロック図。
【図７】変形例１の基本周波数モデルパラメータ推定装置の動作を示すフローチャート。
【図８】変形例２のモデルパラメータ制約情報の例を示す図。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例１】
【００１８】
以下、図１を参照して、実施例１の基本周波数モデルパラメータ推定装置の構成について説明する。同図に示すように、本実施例の基本周波数モデルパラメータ推定装置１は、時刻情報付き音声記号ラベル系列記憶部１０ａと、Ｆ０実測値時系列記憶部１０ｂと、モデルパラメータ制約情報記憶部１０ｃと、区間最小周波数系列抽出部１１と、成分分離部１２と、初期パラメータ生成部１３と、パラメータ制限値設定部１４と、パラメータ推定部１５を含む。
【００１９】
＜基本周波数モデルパラメータ推定装置１の入出力＞
本実施例の基本周波数モデルパラメータ推定装置１は、１）発話音声と発話音声の書き起こしから得られた音声記号などの各音声単位の発話音声ファイル内での始端の時刻および終端の時刻が記述された時刻情報付き音声記号ラベル系列と、２）発話音声のＦ０実測値時系列と、３）指令応答型モデルのパラメータである、フレーズ指令、アクセント指令の当該発話音声内での個数、および、それらがどの音声記号の近くに生起するかを、言語学的制約に基づいて記述したモデルパラメータ制約情報を入力とする。
【００２０】
図２に時刻情報付き音声記号ラベル系列の例を示す。また、図３にモデルパラメータ制約情報の例を示す。図３の枠内に示す記号付きのテキストは、発話内容「あと一時間で雨が降るらしい」に対応するモデルパラメータ制約情報である。同図の例では、句の発話内容をひらがなで記述するものとする。ここで、記号“＜”から記号“＞”の間にアクセント指令が１つ生成されるという制約を付す。また、記号“■”の箇所にフレーズ指令が１つ生成されるという制約を付す。１型アクセントの場合、先頭から全て、記号“＜”、記号“＞”で囲む（例えば“あと”や“ふる”など）。一方、それ以外のアクセント型の場合は、２モーラ目から全てを記号“＜”、記号“＞”で囲む（例えば“いちじかんで”や“らしい”など）。
【００２１】
本実施例の基本周波数モデルパラメータ推定装置１は前述の３つのデータを読み込み、それぞれの記憶部（時刻情報付き音声記号ラベル系列記憶部１０ａ、Ｆ０実測値時系列記憶部１０ｂ、モデルパラメータ制約情報記憶部１０ｃ）に格納する。
【００２２】
本実施例の基本周波数モデルパラメータ推定装置１は発話音声に対する指令応答型モデルのパラメータである、ベース成分の大きさ、フレーズ指令の生起時刻と大きさ、アクセント指令の生起時刻と大きさを、当該音声に対して必要な数だけ出力する。
【００２３】
＜基本周波数モデルパラメータ推定装置１の動作の詳細＞
以下、図４を参照して、本実施例の基本周波数モデルパラメータ推定装置１の動作を各ステップに分けて説明する。
【００２４】
＜ステップＳ１１＞
まず、区間最小周波数系列抽出部１１は、ｔ＝０から発話終了までＦ０実測値時系列を１フレームずつ走査し、各フレームのサンプリング時刻ｔ＝ｓにおいて、当該時刻の周波数が区間［０，ｓ］において最小となる、即ち
F0(s)=min{F0(t)|t∈[0,s]}
となる場合のＦ０（ｓ）を区間最小値、ｓを区間最小値発生時刻として抽出する（Ｓ１１）。区間最小値Ｆ０（ｓ）とこれに対応する区間最小値発生時刻ｓからなる区間最小周波数系列の例を図５（ｂ）に□記号で示す。
【００２５】
＜ステップＳ１２＞
成分分離部１２は、Ｆ０実測値時系列を、ベース成分と、フレーズ成分Ｆ０時系列と、アクセント成分Ｆ０時系列に分離する（Ｓ１２）。具体的には、成分分離部１２は、ステップＳ１１で抽出された区間最小値Ｆ０（ｓ）と、区間最小値発生時刻ｓとのペアから成る区間最小周波数系列を用いる。成分分離部１２は、区間最小周波数系列の各座標を補間し、区間最小周波数関数を得る。区間最小周波数関数の例を図５（ｃ）に破線で示す。なお、補間は直線に限定しない。成分分離部１２は、区間最小周波数系列、または区間最小周波数関数の最小値を求め、これをベース成分とする。図５（ｄ）にベース成分の例を細破線で示す。次に、成分分離部１２は、区間最小周波数関数からベース成分を差し引いたものをフレーズ成分Ｆ０時系列として求める。図５（ｅ）に△記号でフレーズ成分Ｆ０時系列の例を示す。さらに、成分分離部１２は、Ｆ０実測値時系列から区間最小周波数関数を差し引いたものをアクセント成分Ｆ０時系列とする。なお、成分分離部１２は、Ｆ０実測値時系列からベース成分およびフレーズ成分Ｆ０時系列を差し引いて、アクセント成分Ｆ０時系列としてもよい。図５（ｆ）に○記号でアクセント成分Ｆ０時系列の例を示す。成分分離部１２は、このようにして成分の分離を行なう。
【００２６】
＜ステップＳ１３＞
次に、初期パラメータ生成部１３は、指令応答型モデルのパラメータの初期値を生成する（Ｓ１３）。まず、初期パラメータ生成部１３は、ステップＳ１２で得られた区間最小周波数系列の最小値の自然対数を、指令応答型モデルのパラメータの１つであるベース成分ｌｎＦｍｉｎの初期値とする。続いて、初期パラメータ生成部１３は、時刻情報付き音声記号ラベル系列とモデルパラメータ制約情報に基づき、フレーズ指令、および、アクセント指令のパラメータの初期値を生成する。
【００２７】
より具体的には、初期パラメータ生成部１３は、以下のようにパラメータの初期値を生成する。まず、初期パラメータ生成部１３は、Ｔ０として、時刻情報付き音声記号ラベル系列とモデルパラメータ制約情報から得られる指令の生起範囲指定データで指定されたフレーズ指令開始モーラの直前モーラの終了時刻から一定の時間（例えば０．１５秒、後述）を差し引いた時刻を設定する。
【００２８】
＜フレーズ指令開始モーラ、その直前モーラ＞
図３における“■＜あと＞い＜ちじかんで＞■＜あめが＞＜ふる＞ら＜しい＞”の場合、１つ目のフレーズ“あといちじかんで”では、フレーズ指令開始モーラが“あ”（の区間）、フレーズ指令開始モーラの直前モーラが発話前無音区間であるｓｉｌ（の区間）である。２つ目のフレーズ“あめがふるらしい”では、フレーズ指令開始モーラが“あ”（の区間）、フレーズ指令開始モーラの直前モーラが“で”（の区間）となる。ただし、ここでは便宜上、無音区間ｓｉｌもａやｔｏと同様のモーラとして扱う。
【００２９】
初期パラメータ生成部１３は、Ｔ０を初期値としてフレーズ成分実測値と推定値が一致するよう次式を満たすようなフレーズ指令の大きさＡＰを設定する。なお、ＧＰは非特許文献５にあるフレーズ成分の変動を示す関数である。
F0p(T0+0.15)=AP×GP(0.15)
なお、Ｆ０ｐはＦ０中のフレーズ成分のみ（フレーズ成分Ｆ０時系列、例えば、図５（ｅ）の△記号参照）を意味する。初期パラメータ生成部１３は、この式が成り立つよう、すなわち、時刻Ｔ０＋０．１５でのＦ０ｐの値であるＦ０ｐ（Ｔ０＋０．１５）とＡＰ×ＧＰ（０．１５）が等しくなるようにＡＰを定め、これをフレーズ指令の大きさＡＰの初期値とする。
【００３０】
ここで、０．１５秒はフレーズ成分の変動を示す関数ＧＰ値の変動とＦ０実測値の変動とがうまく一致するための時間軸上での位置合わせとして寄与する値であって、過去の文献や慣例から定めた値である。具体的には、フレーズ成分の変動を示す関数ＧＰ（ｔ）を時間ｔで偏微分して０とおくことでＧＰがどの時刻で最大値を取るかが解析的に定まり、この時刻は図５の時間軸（横軸）でｔ＝１／α、およそ１／３（＝０．３３３）である。ｔ＝Ｔ０すなわち図５のカーブの始まる左端の立ち上がりの位置（時刻０）においては、ほぼＦ０ｐもＧＰも値がゼロとなるため、フレーズ指令の大きさＡＰの初期値推定に不向きである。さらに最大値を取る時刻ｔ＝０．３３３の場合、Ｔ０推定値がずれていた場合（実測値よりも大きくても小さくても）ＧＰを過小評価してしまいＡＰの推定結果に誤差が入りやすくなる。そこで、０と０．３３３の間の値として０．１５を選択した。例えば、
F0p(T0+C)=AP×GP(C)
として、前述の式を一般化し、Ｃを０＜Ｃ＜０．３３３を満たすものとしてもよい。
【００３１】
続いて、初期パラメータ生成部１３は、Ｔ１として、時刻情報付き音声記号ラベル系列と、モデルパラメータ制約情報から得られる指令の生起範囲指定データで指定されたアクセント指令開始モーラの直前モーラの終了時刻を設定する。さらに、Ｔ２として、同データで指定されたアクセント指令終了モーラの直前モーラの終了時刻を設定する。
【００３２】
＜アクセント指令開始モーラと直前モーラ、アクセント指令終了モーラと直前モーラ＞
例えば、図３の文「あと一時間で雨が降るらしい」の“いちじかんで”の場合、その制約情報は“い＜ちじかんで＞”となっており、アクセント開始モーラが“ち”、アクセント開始モーラの直前モーラが“い”、アクセント終了モーラが“あ”、アクセント終了モーラの直前モーラが“で”となる。また、“あめが”の場合、その制約情報は“＜あめが＞”となっており、アクセント開始モーラが“あ”、アクセント開始モーラの直前モーラが“で”、アクセント終了モーラが“ふ”、アクセント終了モーラの直前モーラが“が”となる。
【００３３】
初期パラメータ生成部１３は、前述のＴ１とＴ２とを用いて、アクセント成分実測値と推定値とが一致するよう次式を満たすようなアクセント指令の大きさＡａをパラメータ推定の初期値として求める。なお、Ｇａは非特許文献５にあるアクセント成分の変動を示す関数である。なお、Ｆ０ａはＦ０中のアクセント成分のみ（アクセント成分Ｆ０時系列、例えば、図５（ｆ）の○記号参照）を意味する。
【００３４】
【数１】
2020180998.tif 000003
【００３５】
（Ｔ１＋Ｔ２）／２の時刻で実測値とＧａの値を合わせる理由は、その時刻がＡａの初期値推定に際しノイズが入りにくい箇所であるという理由による。理論上、アクセント成分Ｆ０時系列はｔ＝Ｔ１のとき０で、ｔ＝Ｔ２のとき最大値を取る。Ｆ０ａ（ｔ）＝Ａａ×Ｇａ（ｔ）を用いてＡａを求めるとき、ｔ≒Ｔ１であれば、Ｆ０ａ（ｔ）が小さいためＡａの推定精度が下がり、ｔ≒Ｔ２であれば、Ｔ２推定値の初期値がＴ２の真の値より大きい場合、Ｆ０ａ（ｔ）の最大値を過小評価してしまいＡａの推定精度が下がるという問題が生ずる。よってＴ１とＴ２の中間の値を推定に用いれば好適である。
【００３６】
＜ステップＳ１４＞
次に、パラメータ制限値設定部１４は、時刻情報付き音声記号ラベル系列記憶部１０ａに記憶された時刻情報付き音声記号ラベルと、モデルパラメータ制約情報格納部１０ｃに格納されたモデルパラメータ制約情報とを取得し、これらを利用して、フレーズ指令、アクセント指令の各パラメータが取りうる値の範囲を、言語学的に妥当な範囲に制限できるようパラメータ制限値を設定する（ステップＳ１４）。ここで、言語学的に妥当な範囲とは、指令応答型モデルのパラメータ（フレーズ指令およびアクセント指令）が置かれるべき妥当な位置の範囲のことである。この範囲外となると、言語学的に意味のないパラメータとなり、例えば、アクセント持続時間が負の値になるような言語学的に不適切なパラメータが得られたり、アクセント句数やイントネーション句数の点で発話された文言の言語学的な情報と対応しない場合が生じる。
【００３７】
＜ステップＳ１５＞
パラメータ推定部１５は、フレーズ成分Ｆ０時系列とその推定値の誤差、およびアクセント成分Ｆ０時系列とその推定値の誤差がパラメータ制限値の範囲で最小化するよう、指令応答型モデルのパラメータを推定する（ステップＳ１５）。パラメータ推定部１５は、フレーズ成分Ｆ０推定値（指令応答型モデルのフレーズ成分を決めるＧＰ関数によって計算された値の系列）とｌｎＦｍｉｎの和と、ステップＳ１２で得られたフレーズ成分Ｆ０時系列とベース成分の和、の２乗誤差をステップＳ１４の範囲で最小化するよう、パラメータｌｎＦｍｉｎ，Ｔ０，ＡＰを最小２乗法で調整する。パラメータ推定部１５は、アクセント成分Ｆ０推定値とステップＳ１２で得られたアクセント成分Ｆ０時系列の２乗誤差をステップＳ１４の範囲で最小化するよう、パラメータＴ１，Ｔ２，Ａａを最小２乗法で調整する。
【００３８】
上記の演算ではＦ０の値は自然対数に変換された値を用いる。ステップＳ１２の成分分離においては、最初のアクセント句が頭高（１型）である場合、アルゴリズム上アクセント成分をフレーズ成分と誤認識するおそれがある。そこで最初のアクセント句が頭高の場合のみ例外処理として、フレーズ成分推定には開始後０．２秒までの区間Ｆ０を無視したmin{F0(t)|t∈[0.2,s]}を利用する。ｓは発話末尾の時刻である。また、ステップＳ１４では、例えば、以下の閾値を使用することが可能である。
T0:[t'1-0.3,t'1-0.05]（句末のみ[t'1-0.05,t'1+0.05]）
AP:[0,1.0]
T1: [u-1/6(t'n-u),u+1/6(t'n-u)](アクセント型が１型ならu=t'1，その他ならu=t'2)
T2: [u+1/6(t'n-u),t'n]
lnFmin:[0,6.0](=[1,403](Hz))
【００３９】
なお、ｔ’ｉはフレーズ内のｉ番目モーラの開始時刻を意味する。例えば図３の“あと”の場合、ｔ’１は１番目のモーラ“あ”の発話開始時刻、ｔ’２は２番目のモーラ“と”の発話開始時刻である。ｕは任意の時刻である。ｎはフレーズ内の最終モーラの番号である。式に出てくる１／６倍などの係数は経験的に得られたものを用いている。
【００４０】
［変形例１］
実施例１において、ベース成分ｌｎＦｍｉｎは音声毎に求めたが、これを話者が同じであるとか、発話様式が同じであるなどの同一条件の場合に共有することが可能である。以下、変形例１の基本周波数モデルパラメータ推定装置１ａについて説明する。図６に示すように、本変形例の基本周波数モデルパラメータ推定装置１ａは、実施例１と共通して、時刻情報付き音声記号ラベル系列記憶部１０ａと、Ｆ０実測値時系列記憶部１０ｂと、モデルパラメータ制約情報記憶部１０ｃと、区間最小周波数系列抽出部１１と、成分分離部１２と、初期パラメータ生成部１３と、パラメータ制限値設定部１４と、パラメータ推定部１５を含み、さらに、グループ分け部１６と、グループ内平均値取得部１７を含む。
【００４１】
まず、変形例１の周波数モデルパラメータ推定装置１ａは、前述の実施例１の処理（ステップＳ１１〜Ｓ１５）を実行する。
【００４２】
続いて、周波数モデルパラメータ推定装置１ａのグループ分け部１６は、得られたパラメータデータを同一条件のもの（話者が同じ、発話様式が同じ等）ごとに分類しグループ分けする（Ｓ１６）。グループ内平均値取得部１７は、ステップＳ１６でグループ分けされた各グループ内の各データにおいてｌｎＦｍｉｎパラメータの平均値を取得する（Ｓ１７）。本変形例の周波数モデルパラメータ推定装置１ａは、前述の平均値をｌｎＦｍｉｎパラメータとし、各データに対し再び実施例１の処理（ステップＳ１１〜Ｓ１５）を実行する。
【００４３】
［変形例２］
実施例１のステップＳ１１では区間最小値の抽出範囲は発話全体であったが、これを基本周波数の上下変動が激しいと予想される区間などの一部区間を発話全体から除いた範囲に置き換えることもできる。
【００４４】
この際、上下変動が激しいと予想される区間に対応する指令が存在する場合、ステップＳ１４で用いる閾値を、パラメータごとに他の指令と別途に設定することが可能である。なお、閾値を別途に設定しなかったパラメータに関しては共通の閾値を参照する。基本周波数の上下変動が激しいと予想される区間にフレーズ指令やアクセント指令が対応する場合、例えば、ステップＳ１４で以下の閾値を他のパラメータと別途に使用することが可能である。
AP:[-1.0,1.0]
Aa:[-1.0,1.0]
【００４５】
前述の基本周波数の上下が激しいと予想される区間は、前述のモデルパラメータ制約情報のファイルで指定する。図８に例を示す。図８の！と！とで囲まれた区間をＦ０変化が激しいと予想される区間と定義し、その区間を最小周波数の検査対象外とする。
【００４６】
また、このとき、！と！で囲まれたモーラ区間内に存在するアクセント指令（＜＞で囲まれた箇所）やフレーズ指令（■）を「上下が激しいと予想される区間に対応する指令」として扱う。
【００４７】
図８の事例の場合、末尾の“よ”の発話開始時刻から終了時刻までを最小周波数の検査対象外とする。“よ”に対応するアクセント指令は前述のステップＳ１４の閾値を別途指定することが可能である。なお、図３、図８ともに、用いる記号は、図３や図８で用いられた記号に限るものではない。上記枠内の記載方法は図３と同じであるので差分のみ説明する。発話内容「雨が降るらしいよ」を例として対応する制約情報を示した。“！”で囲まれた区間が前述の基本周波数の上下が激しいと予想される区間に対応する。
【００４８】
（実施例、変形例にかかる基本周波数モデルパラメータ推定装置の効果）
モデルパラメータ制約情報に記述されたパラメータの生起範囲指定データで言語学的制約をかける点から、非特許文献２で課題となったような言語学的に意味のないパラメータが抽出される可能性が大幅に減るという効果がある。仮に抽出された場合、言語理論上生じると仮定されるアクセントが実際の音声では生じなかったことを意味しているため、データに則した実際的なパラメータになっていることが期待できる。
【００４９】
また非特許文献３は、隠れマルコフモデルという統計モデルを用いるため、学習用データが大量に必要になるという課題があった。また、非特許文献３のような統計モデルによる推定は、パラメータを推定する初見のデータが学習データと同分布に従うという前提に基づいているため、両データが従う分布が異なる場合に推定が正しく行われるかどうかは不明であるという課題があった。
【００５０】
実施例、変形例にかかる基本周波数モデルパラメータ推定装置によれば、推定する音声データのみからパラメータ推定する点から、学習データが不要である点で、非特許文献３の課題も生じない。
【００５１】
また非特許文献４を含め、符号化された実データの時系列をフーリエ変換する際には計算量を減らすため高速フーリエ変換が用いられるが、この際、フーリエ変換の積分計算を総和で近似しているため、周波数ｎ／（時系列の時間長）（ｎは整数）の成分しか抽出することができない。結果として、１／（時系列の時間長）以下の周波数を抽出または分離することは不可能である。
【００５２】
そのため、短い句ではローパスフィルタによりフレーズ成分を十分に抽出できないという問題点がある。会話音声にはさまざまな短い句が出現するが，そのような語の分析に用いることが困難であるという課題があった。
【００５３】
実施例、変形例にかかる基本周波数モデルパラメータ推定装置によれば、フレーズ成分、アクセント成分の分離にＦ０形状の包絡線を利用している点から、対話音声に頻出する短い音声に対してもフレーズ、アクセント成分を分離可能となり正確なパラメータ推定が可能となる。よって非特許文献４の課題も解決される。
【００５４】
（実施例、変形例にかかる基本周波数モデルパラメータ推定装置のポイント）
時刻情報付き音声記号ラベル系列格納部１０ａやモデルパラメータ制約情報格納部１０ｃによって、言語情報からパラメータの個数や各パラメータ値が取り得る範囲を予め規定することで、音声情報だけでなく言語情報を利用したパラメータ推定が可能となる。
【００５５】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００５６】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００５７】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００５８】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００５９】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００６０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００６１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６２】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００６３】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2020180998.tif 000005
【図２】
2020180998.tif 000006
【図３】
2020180998.tif 000007
【図４】
2020180998.tif 000008
【図５】
2020180998.tif 000009
【図６】
2020180998.tif 000010
【図７】
2020180998.tif 000011
【図８】
2020180998.tif 000012