(57)【要約】【課題】  話者に依存した特徴が含まれない調音運動を表現するモデルを作成する。【解決手段】  調音パラメータ生成部１３は計測された調音器官の上顎などの複数の位置の水平方向および垂直方向を利用して調音パラメータベクトルを複数の話者分作成する。調音パラメータ正規部１８は、話者の一人（参照話者）の上顎の位置と他の話者の上顎の位置とを一致させる。また、参照話者の口蓋と他の話者の口蓋の誤差が最小になるように他の話者の口蓋を回転させる回転角を求め、この他の話者の上顎以外の調音器官の位置をこの回転角分回転させ、平行移動後或いは回転後の調音器官の位置を利用して調音パラメータの正規化を行う。参照話者以外の話者について行う。この正規化された調音パラメータベクトルを利用して話者に依存した特徴が含まれない調音運動（固有調音運動）を作成する。【選択図】      図１
2006146042.tif 000002
【特許請求の範囲】
【請求項１】
複数の話者の各時刻における調音器官の複数の位置から得られる各話者の各時刻における調音パラメータベクトル系列に関して、一の話者以外の他の話者の夫々の各時刻おいて、該一の話者の一の前記調音器官の位置と前記他の話者の夫々の該一の前記調音器官の位置とが一致するように各前記他の話者の前記一の前記調音器官の位置を移動させ、前記他の話者の夫々について、前記一の前記調音器官の位置に対して前記一の話者の口蓋と前記他の話者の口蓋との誤差が最小になるように前記他の話者の口蓋を回転させる回転角を求めて前記一の前記調音器官の位置以外の他の位置を該回転角により回転させて調音パラメータベクトル系列を正規化する調音パラメータ正規化手順と、
調音運動の第１統計モデルに対する前記調音パラメータ正規化手順において生成された全ての調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる該第１統計モデルを生成する第１統計モデル生成手順と、
話者の夫々について、前記第１統計モデル生成手順で生成された前記第１統計モデルに対する前記調音パラメータ正規化手順において生成された話者の各調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる話者適応行列を求めて該求めた話者適応行列を話者に関連付けて話者適応行列記憶手段に記憶する話者適応行列計算手順と、
話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手順において生成された前記第１統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、該第１統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手順において生成されたこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算した値が最大となるような第２統計モデルを生成し、該生成した第２統計モデルをモデル記憶手段に記憶する第２統計モデル生成手順と、
を備えたことを特徴とする調音運動の正規化を用いた音声合成方法。
【請求項２】
話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手順において生成された前記第１統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、該第１統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手順において生成されたこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算して第１の加算値を得、
話者の夫々について、話者のベクトル系列を前記第２統計モデル生成手順において生成された前記第２統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、該第２統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手順において生成されたこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算して第２の加算値を得、
前記第１の加算値と前記第２の加算値との差が所定の値以下であるか否かを判断するモデル収束判断手順と、
前記モデル収束判断手順で前記差が予め設定された閾値以下であると判断された場合、前記第１統計モデルを前記第２統計モデルに置き換えるモデル置換手順と、
をさらに備え、
前記話者適応行列計算手順および前記第２統計モデル生成手順を前記モデル置換手順で置き換えられた第１統計モデルを利用して行うことを特徴とする請求項１に記載の調音運動の正規化を用いた音声合成方法。
【請求項３】
話者の話者適応調音モデルを前記話者適応記憶手段に記憶されているこの話者の話者適応行列と前記第２統計モデル記憶手段に記憶されている第２統計モデルとを利用して求める話者適応調音モデル生成手順をさらに備えていることを特徴とする請求項１または請求項２に記載の調音運動の正規化を用いた音声合成方法。
【請求項４】
複数の話者の各時刻における調音器官の複数の位置から得られる各話者の各時刻における調音パラメータベクトル系列に関して、一の話者以外の他の話者の夫々の各時刻おいて、該一の話者の一の前記調音器官の位置と前記他の話者の夫々の該一の前記調音器官の位置とが一致するように各前記他の話者の前記一の前記調音器官の位置を移動させ、前記他の話者の夫々について、前記一の前記調音器官の位置に対して前記一の話者の口蓋と前記他の話者の口蓋との誤差が最小になるように前記他の話者の口蓋を回転させる回転角を求めて前記一の前記調音器官の位置以外の他の位置を該回転角により回転させて調音パラメータベクトル系列を正規化する調音パラメータ正規化手段と、
調音運動の第１統計モデルに対する前記調音パラメータ正規化手段により生成される全ての調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる該第１統計モデルを生成する第１統計モデル生成手段と、
話者の夫々について、前記第１統計モデル生成手段により生成される前記第１統計モデルに対する前記調音パラメータ正規化手段において生成される話者の各調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる話者適応行列を求める話者適応行列計算手段と、
前記話者適応行列計算手段により求められる話者適応行列を話者に関連付けて記憶する話者適応行列記憶手段と、
話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手段により生成される前記第１統計モデルと前記話者適応行列記憶手段に記憶されている当該話者の話者適応行列とを利用して求め、該第１統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手段において生成されるこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算した値が最大となるような第２統計モデルを生成する第２統計モデル生成手段と、
前記第２統計モデル生成手段により生成される第２統計モデルを記憶するモデル記憶手段と、
を備えたことを特徴とする調音運動の正規化を用いた音声合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、調音運動の正規化を用いた音声合成方法および装置に関するものである。
【背景技術】
【０００２】
音声信号の中には、話者に依存しない音韻性の特徴と、声道形状・声道長・発話スタイル・性別などの話者に依存した特徴が存在する。これまでに、発話内容を表す話者共通の音韻性の特徴と話者の違いを表す話者性の特徴を分離するために、複数の話者の文章発声の音声スペクトルデータを用いて、全ての話者に共通な特徴（音韻性の特徴）と、話者性の特徴に分離する方法が提案されている（例えば、非特許文献１、非特許文献２参照。）。しかしながら、音声スペクトルの複雑さにより、話者性の特徴を十分に分離することができないという問題がある。
【０００３】
音声を調音運動の観点から捉え、調音運動を音素固有の調音運動と話者性の特徴に分離する場合には、上記の音声スペクトルを用いる場合に比較して両者の分離の精度が良くなることが期待される。しかしながら、音声スペクトルは全話者共通の周波数上で定義されているのに対し、調音運動は全話者に共通な軸を設定しにくいという問題があり、話者に共通な調音運動の軸を設定するために調音運動の正規化法が提案されている（例えば、非特許文献３参照。）。この提案されている調音運動の正規化法では、声道の正中面における垂直方向の正規化にとどまっているために水平方向の正規化誤差が大きいという問題や、調音器官の静的な特徴を母音のみで分析するにとどまっており、調音運動の正規化法としては不十分であると考えられる。
【０００４】
大量の文章発声により観測した調音運動の動的な振る舞いを考慮するために、調音運動を調音運動の動的な振る舞いを記述した隠れマルコフモデル（以下、ＨＭＭと略す。）にモデル化することで、任意の話者の音声信号から調音運動を推定する技術が提案されている（例えば、特許文献１、非特許文献４参照。）。
【特許文献１】特開２００４−２７９４５４号公報
【非特許文献１】Ｊｕｎｉｃｈｉ  Ｙａｍａｇｉｓｈｉ，  Ｍａｓａｔｓｕｎｅ  Ｔａｍｕｒａ，  Ｔａｋａｓｈｉ  Ｍａｓｕｋｏ，  Ｋｅｉｉｃｈｉ  Ｔｏｋｕｄａ，  ａｎｄ  Ｔａｋａｏ  Ｋｏｂａｙａｓｈｉ，  “Ａ  Ｔｒａｉｎｉｎｇ  Ｍｅｔｈｏｄ  ｏｆ  Ａｖｅｒａｇｅ  Ｖｏｉｃｅ  Ｍｏｄｅｌ  ｆｏｒ  ＨＭＭ−Ｂａｓｅｄ  Ｓｐｅｅｃｈ  Ｓｙｎｔｈｅｓｉｓ，”  ＩＥＩＣＥ  Ｔｒａｎｓ．  Ｆｕｎｄａｍｅｎｔａｌｓ，  ｖｏｌ．Ｅ８６−Ａ，  Ｎｏ．８  ｐｐ．１９５６−１９６３，  ２００３．
【非特許文献２】Ｔａｓｏｓ  Ａｎａｓｔａｓａｋｏｓ，  Ｊｏｈｎ  ＭｃＤｏｎｏｕｇｈ，  Ｒｉｃｈａｒｄ  Ｓｃｈｗａｒｔｚ，  ａｎｄ  Ｊｏｈｎ  Ｍａｋｈｏｕｌ，  “Ａ  Ｃｏｍｐａｃｔ  Ｍｏｄｅｌ  ｆｏｒ  Ｓｐｅａｋｅｒ−Ａｄａｐｔｉｖｅ  Ｔｒａｉｎｉｎｇ，”  Ｐｒｏｃ．ＩＣＳＬＰ，  ｐｐ．１１３７−１１４０，  １９９６．
【非特許文献３】Ｍｉｃｈｉｋｏ  Ｈａｓｈｉ，  Ｊｏｈｎ  Ｒ．Ｗｅｓｔｂｕｒｙ，  ａｎｄ  Ｋｉｙｏｓｈｉ  Ｈｏｎｄａ，“Ｖｏｗｅｌ  ｐｏｓｔｕｒｅ  ｎｏｒｍａｌｉｚａｔｉｏｎ，”  Ｊｏｕｒｎａｌ  ｏｆ  Ａｃｏｕｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ，  ｖｏｌ，１０４，  Ｎｏ．４，  ｐｐ．２４２６−２４３７，１９９８．
【非特許文献４】Ｓａｄａｏ  Ｈｉｒｏｙａ  ａｎｄ  Ｍａｓａａｋｉ  Ｈｏｎｄａ，“Ｓｐｅａｋｅｒ  Ａｄａｐｔａｔｉｏｎ  Ｍｅｔｈｏｄ  ｆｏｒ  Ａｃｏｕｓｔｉｃ−ｔｏ−Ａｒｔｉｃｕｌａｔｏｒｙ  Ｉｎｖｅｒｓｉｏｎ  ｕｓｉｎｇ  ａｎ  ＨＭＭ−Ｂａｓｅｄ  Ｓｐｅｅｃｈ  Ｐｒｏｄｕｃｔｉｏｎ  Ｍｏｄｅｌ，”ＩＥＩＣＥ  ＴＡＮＳ．ＩＮＦ．＆ＳＹＳＴ．，  Ｖｏｌ．Ｅ８７−Ｄ，  Ｎｏ．５  ｐｐ．１０７１−１０７８，  ２００４．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記の特許文献１や非特許文献４には、話者間の調音運動を比較するための正規化法として、参照話者の調音運動に基づくＨＭＭに対する未知話者の調音運動の出力確率が最大となる線形変換を決定する技術が提案されている。しかしながら、話者毎に作成したＨＭＭの中には話者に依存した特徴が多く含まれているため、この提案されている技術では調音運動の正規化、特に、口蓋音において、十分ではないという問題がある。従って、話者に依存した特徴が含まれない調音運動に基づくＨＭＭの作成が必要になる。
【０００６】
そこで、本発明は、話者に依存した特徴が含まれない調音運動を表現する統計モデルを作成することが可能な調音運動の正規化を用いた音声合成方法および装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の調音運動の正規化を用いた音声合成方法は、複数の話者の各時刻における調音器官の複数の位置から得られる各話者の各時刻における調音パラメータベクトル系列に関して、一の話者以外の他の話者の夫々の各時刻おいて、該一の話者の一の前記調音器官の位置と前記他の話者の夫々の該一の前記調音器官の位置とが一致するように各前記他の話者の前記一の前記調音器官の位置を移動させ、前記他の話者の夫々について、前記一の前記調音器官の位置に対して前記一の話者の口蓋と前記他の話者の口蓋との誤差が最小になるように前記他の話者の口蓋を回転させる回転角を求めて前記一の前記調音器官の位置以外の他の位置を該回転角により回転させて調音パラメータベクトル系列を正規化する調音パラメータ正規化手順と、調音運動の第１統計モデルに対する前記調音パラメータ正規化手順において生成された全ての調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる該第１統計モデルを生成する第１統計モデル生成手順と、話者の夫々について、前記第１統計モデル生成手順で生成された前記第１統計モデルに対する前記調音パラメータ正規化手順において生成された話者の各調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる話者適応行列を求めて該求めた話者適応行列を話者に関連付けて話者適応行列記憶手段に記憶する話者適応行列計算手順と、話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手順において生成された前記第１統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、該第１統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手順において生成されたこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算した値が最大となるような第２統計モデルを生成し、該生成した第２統計モデルをモデル記憶手段に記憶する第２統計モデル生成手順と、を備えたことを特徴とする。
【０００８】
請求項２に記載の調音運動の正規化を用いた音声合成方法は、話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手順において生成された前記第１統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、該第１統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手順において生成されたこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算して第１の加算値を得、話者の夫々について、話者のベクトル系列を前記第２統計モデル生成手順において生成された前記第２統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、該第２統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手順において生成されたこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算して第２の加算値を得、前記第１の加算値と前記第２の加算値との差が所定の値以下であるか否かを判断するモデル収束判断手順と、前記モデル収束判断手順で前記差が予め設定された閾値以下であると判断された場合、前記第１統計モデルを前記第２統計モデルに置き換えるモデル置換手順と、をさらに備え、前記話者適応行列計算手順および前記第２統計モデル生成手順を前記モデル置換手順で置き換えられた第１統計モデルを利用して行うことを特徴とする。
【０００９】
請求項３に記載の調音運動の正規化を用いた音声合成方法は、話者の話者適応調音モデルを前記話者適応記憶手段に記憶されているこの話者の話者適応行列と前記第２統計モデル記憶手段に記憶されている第２統計モデルとを利用して求める話者適応調音モデル生成手順をさらに備えていることを特徴とする。
【００１０】
請求項４に記載の調音運動の正規化を用いた音声合成装置は、複数の話者の各時刻における調音器官の複数の位置から得られる各話者の各時刻における調音パラメータベクトル系列に関して、一の話者以外の他の話者の夫々の各時刻おいて、該一の話者の一の前記調音器官の位置と前記他の話者の夫々の該一の前記調音器官の位置とが一致するように各前記他の話者の前記一の前記調音器官の位置を移動させ、前記他の話者の夫々について、前記一の前記調音器官の位置に対して前記一の話者の口蓋と前記他の話者の口蓋との誤差が最小になるように前記他の話者の口蓋を回転させる回転角を求めて前記一の前記調音器官の位置以外の他の位置を該回転角により回転させて調音パラメータベクトル系列を正規化する調音パラメータ正規化手段と、調音運動の第１統計モデルに対する前記調音パラメータ正規化手段により生成される全ての調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる該第１統計モデルを生成する第１統計モデル生成手段と、話者の夫々について、前記第１統計モデル生成手段により生成される前記第１統計モデルに対する前記調音パラメータ正規化手段において生成される話者の各調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる話者適応行列を求める話者適応行列計算手段と、前記話者適応行列計算手段により求められる話者適応行列を話者に関連付けて記憶する話者適応行列記憶手段と、話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手段により生成される前記第１統計モデルと前記話者適応行列記憶手段に記憶されている当該話者の話者適応行列とを利用して求め、該第１統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手段において生成されるこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算した値が最大となるような第２統計モデルを生成する第２統計モデル生成手段と、前記第２統計モデル生成手段により生成される第２統計モデルを記憶するモデル記憶手段と、を備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、話者に依存した特徴が含まれない調音運動を表現する統計モデルを作成することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を実施するための最良の形態について図面を参照しつつ説明する。
【００１３】
まず、本発明の実施の形態における調音運動の正規化を用いた音声合成装置の機能について図１を参照しつつ説明する。図１は本実施の形態における正規化を用いた音声合成装置の機能を示す機能ブロック図である。
ただし、本実施の形態においては、調音運動の統計モデルとして、隠れマルコフモデル（ＨＭＭ）を用い、ＨＭＭの構造は、後続音素を考慮した２音素組の３状態単混合ガウス分布で、スキップなしのｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデルとする。例えば、３つの状態ｑ１，ｑ２，ｑ３があり、各状態での出力確率を夫々１つのガウス分布とし、状態過程は同一状態から同一状態への遷移、状態ｑ１から状態ｑ２への遷移、状態ｑ２から状態ｑ３への遷移の、計５つのみである。
また、本実施の形態において、全話者共通の音素固有の調音運動（固有調音）の抽出は、話者適応学習（Ｓｐｅａｋｅｒ  Ａｄａｐｔｉｖｅ  Ｔｒａｉｎｉｎｇ：ＳＡＴ）に基づいて行われる。
【００１４】
図１に示すように、音声合成装置１は、音響パラメータ生成部１１、音響パラメータ記憶部１２、調音パラメータ生成部１３、調音パラメータ記憶部１４、音素系列記憶部１５、コードブック（調音・音響対コードブック）作成部１６、コードブック（調音・音響対コードブック）記憶部１７、調音パラメータ正規化部１８、平均調音モデル作成部１９、平均調音モデル記憶部２０、話者適応行列計算部２１、話者適応行列記憶部２２、固有調音モデル作成部２３、固有調音モデル記憶部２４、モデル収束判定部２５、モデル置換部２６、話者適応調音モデル作成部２７、発話タイミング生成部２８、調音パラメータ作成部２９、音声スペクトル生成部３０、基本周波数生成部３１、パワー生成部３２、音声合成部３３、および音声出力部３４として機能する各部を有している。
【００１５】
音響パラメータ生成部１１は、観測され、入力される音声信号をフレームごとに、毎秒２５０回のレートで、窓長３２ｍｓのブラックマン窓で切り出し、スペクトル分析し、２５次のメルケプストラム係数を求め、この求めた２５次のメルケプストラム係数を並べて下記式（１）に示す音響パラメータベクトルｙｉｔを生成する。ただし、添字ｉは話者を、添字ｔは時刻を表しており、ｙｉｔ（１）〜ｙｉｔ（２５）は求められた１次から２５次のメルケプストラム係数である。そして、音響パラメータ生成部１１は、各話者の各時刻において生成した音響パラメータベクトルを話者と時刻とに関連付けて音響パラメータ記億部１２に保存する。
【００１６】
【数１】
2006146042.tif 000003
【００１７】
音響パラメータ記億部１２は、音響パラメータ生成部１１により生成される音響パラメータベクトルｙｉｔを話者ｉと時刻ｔとに関連付けて記憶するものである。
【００１８】
調音パラメータ生成部１３は、磁気センサシステムを用いて音声信号と同時観測した調音器官の複数の位置（本実施の形態では、上顎（ＵＪ）、下顎（ＬＪ）、上唇（ＵＬ）、下唇（ＬＬ）、舌上の３点（Ｔ１，Ｔ２，Ｔ３）の計７点）の水平位置と垂直位置を毎秒２５０回のレートで取り込み、この各位置の水平位置と垂直位置とを並べて下記式（２）に示す調音パラメータベクトルｘｉｔを生成する。ただし、添字ｉは話者を、添字ｔは時刻を表しており、式（２）中の、ｘｉｔ（ＵＪｘ）、ｘｉｔ（ＵＪｙ）、ｘｉｔ（ＬＪｘ）、ｘｉｔ（Ｔ２ｙ）、ｘｉｔ（Ｔ３ｘ）、ｘｉｔ（Ｔ３ｙ）は、夫々、得られた上顎（ＵＪ）の水平位置、上顎（ＵＪ）の垂直位置、下顎（ＬＪ）の水平位置、舌上（Ｔ２）の垂直位置、舌上（Ｔ３）の水平位置、舌上（Ｔ３）の垂直位置を表している。そして、調音パラメータ生成部１３は、各話者の各時刻において生成した調音パラメータベクトルを話者と時刻とに関連付けて調音パラメータ記億部１４に保存する。
【００１９】
【数２】
2006146042.tif 000004
【００２０】
調音パラメータ記億部１４は、調音パラメータ生成部１３により生成される、または、調音パラメータ正規化部１８により更新される、調音パラメータベクトルｘｉｔを話者ｉと時刻ｔとに関連付けて記憶するものである。
【００２１】
音素系列記億部１５は、発声された音素（／ａ／，／ｕ／など）を発声した話者ｉと発声された時刻ｔとに関連付けて記憶するものである。
【００２２】
コードブック作成部１６は、話者ｉと時刻ｔとを利用して、話者ｉと時刻ｔとに対応して音響パラメータ記憶部１２に記憶されている音響パラメータベクトルｙｉｔを取り出す。コードブック作成部１６は、話者ｉと時刻ｔとを利用して、話者ｉと時刻ｔとに対応して調音パラメータ記憶部１４に記憶されている調音パラメータベクトルｘｉｔを取り出す。コードブック作成部１６は、話者ｉと時刻ｔを利用して、話者ｉと時刻ｔとに対応して音素系列記憶１５に記憶されている音素を取り出す。そして、コードブック作成部１６は、話者ｉと時刻ｔとに取り出した音響パラメータベクトルｙｉｔと調音パラメータベクトルｘｉｔと音素とを関連付けてコードブック記憶部１７に記憶する。これを、全ての話者の全ての時刻において行う（調音・音響対コードブックの作成）。
【００２３】
コードブック記憶部１７は、話者ｉと時刻ｔとに音素と音響パラメータベクトルｙｉｔと調音パラメータベクトルｘｉｔとを関連付けて記憶するものであり、その一例を図２に示している。ただし、コードブック記憶部１７には、全ての話者の全ての時刻における、音素と音響パラメータベクトルと調音パラメータベクトルとの組が記憶され、例えば、その組の数は２０万セットである。
【００２４】
なお、話者として日本人男性５名（話者１〜話者５）で、「青空に入道雲が浮かんでいます」などの連続文章を夫々３７５文章発声したものを用いる。
【００２５】
調音パラメータ正規化部１８は、調音器官の位置の基準とする話者（以下、参照話者という。）ｊと時刻ｔとを利用して、参照話者ｊと時刻ｔとに関連付けて調音パラメータ記憶部１４に記憶されている調音パラメータベクトルｘｊｔを取り出す。そして、調音パラメータ正規化部１８は、参照話者ｊ以外の話者ｋと時刻ｔとを利用して、話者ｋと時刻ｔとに関連付けて調音パラメータ記憶部１４に記憶されている調音パラメータベクトルｘｋｔを取り出す。
【００２６】
調音パラメータ正規化部１８は、取り出した参照話者ｊの調音パラメータベクトルｘｊｔに含まれる上顎（ＵＪ）の位置座標（ｘｊｔ（ＵＪｘ），ｘｊｔ（ＵＪｙ））と、取り出した話者ｋの調音パラメータベクトルｘｋｔに含まれる上顎（ＵＪ）の位置座標（ｘｋｔ（ＵＪｘ），ｘｋｔ（ＵＪｙ））とが一致するように話者ｋの上顎（ＵＪ）の位置を平行移動させ、平行移動後の位置座標を新たに上顎（ＵＪ）の位置座標（ｘｋｔ（ＵＪｘ），ｘｋｔ（ＵＪｙ））とする。これを参照話者ｊ以外の全ての話者について行う。なお、この時点で話者の全ての上顎（ＵＪ）の位置は等しくなっている。
【００２７】
調音パラメータ正規化部１８は、参照話者ｊの口蓋の位置座標（Ｖｘｊ，Ｖｙｊ）と話者ｋの口蓋の位置座標（Ｖｘｋ，Ｖｙｋ）とを用いて、上顎（ＵＪ）の位置（両話者の上顎は一致）に対して、参照話者ｊの口蓋の位置座標と話者ｋの口蓋の位置座標との誤差が最小になるように、話者ｋの口蓋の位置を回転させる回転角ｔｈｅｔａを下記式（３）を演算することにより求める。なお、各話者の口蓋の位置座標は調音観測時点で取得され、図３の各線は一人の話者の口蓋を示している。
【００２８】
【数３】
2006146042.tif 000005
【００２９】
そして、調音パラメータ正規化部１８は、取り出した話者ｋの調音パラメータベクトルｘｋｔに含まれる下顎（ＬＪ）の位置座標（ｘｋｔ（ＬＪｘ），ｘｋｔ（ＬＪｙ））を、位置座標（ｘｋｔ（ＬＪｘ），ｘｋｔ（ＬＪｙ））と回転角ｔｈｅｔａとを利用して下記式（４）を算出して回転させ、回転後の下顎（ＬＪ）の位置座標（ｘｋｔ（ＬＪｘ），ｘｋｔ（ＬＪｙ））を得る。
【００３０】
【数４】
2006146042.tif 000006
【００３１】
同様に、調音パラメータ正規化部１８は、話者ｋの調音パラメータベクトルｘｋｔに含まれる上唇（ＵＬ）の位置座標（ｘｋｔ（ＵＬｘ），ｘｋｔ（ＵＬｙ））、および下唇（ＬＬ）の位置座標（ｘｋｔ（ＬＬｘ），ｘｋｔ（ＬＬｙ））の夫々についても算出した回転角ｔｈｅｔａを利用して回転させる。また、調音パラメータ正規化部１８は、話者ｋの調音パラメータベクトルｘｋｔに含まれる舌上（Ｔ１）の位置座標（ｘｋｔ（Ｔ１ｘ），ｘｋｔ（Ｔ１ｙ））、舌上（Ｔ２）の位置座標（ｘｋｔ（Ｔ２ｘ），ｘｋｔ（Ｔ２ｙ））、および舌上（Ｔ３）の位置座標（ｘｋｔ（Ｔ３ｘ），ｘｋｔ（Ｔ３ｙ））の夫々についても算出した回転角ｔｈｅｔａを利用して回転させる。
【００３２】
調音パラメータ正規化部１８は、平行移動後の上顎（ＵＪ）の位置座標、回転後の下顎（ＬＪ）、上唇（ＵＬ）、下唇（ＬＬ）、舌上（Ｔ１）、舌上（Ｔ２）、舌上（Ｔ３）の位置座標を並べて調音パラメータベクトルｘｋｔを新たに生成する（正規化）。調音パラメータ正規化部１８は、調音パラメータ記億部１４とコードブック記憶部１７とに記憶されている話者ｋの時刻ｔにおける調音パラメータベクトルｘｋｔを新たに生成された調音パラメータベクトルｘｋｔに置き換え、調音パラメータ記億部１４とコードブック記憶部１７の記憶内容を更新する。
以上により、話者ｋの時刻ｔにおける口蓋の位置を回転させることにより口蓋の正規化を行い、この回転に従って調音パラメータベクトルの正規化を行う。
【００３３】
調音パラメータ正規化部１８は、参照話者ｊ以外の全ての話者の全ての時刻について、上記の内容を行い、調音パラメータベクトルの正規化を行う。
図３に調音パラメータ正規化部１８による正規化前後の調音器官の様子の一例を示しており、（ａ）は正規化前を、（ｂ）は正規化後を示している。
【００３４】
平均調音モデル作成部１９は、初期モデルとして、調音パラメータ記憶部１４に記憶されている全ての話者の全ての時刻における調音パラメータベクトルの平均により構成される平均調音ＨＭＭのモデルλａｖｅｒａｇｅを作成する。
これは、全ての話者の全ての時刻における調音パラメータベクトルを連結して、下記式（５）に示すベクトルｘを作成する。モデルλａｖｅｒａｇｅにおいて、状態系列ｑを構成する一つの状態をｑｍとするとき、状態ｑｍに対する連結したベクトルｘの出力確率は、その状態ｑｍへの遷移確率Ｐ（ｑｍ｜λａｖｅｒａｇｅ）とその状態ｑｍに対するベクトルｘの出力確率Ｐ（ｘ｜ｑｍ，λａｖｅｒａｇｅ）との積で表され、連結したベクトルｘの出力確率Ｐ（ｘ｜λａｖｅｒａｇｅ）は、状態系列ｑを構成する全ての状態に対するベクトルｘの出力確率を加算したものであるので、下記式（６）に示すものとなる。連結したベクトルｘの下記式（６）で表される出力確率Ｐ（ｘ｜λａｖｅｒａｇｅ）が最大となるように平均調音ＨＭＭのモデルλａｖｅｒａｇｅを作成する。
【００３５】
【数５】
2006146042.tif 000007
【００３６】
【数６】
2006146042.tif 000008
【００３７】
ここで、ｍ，ｎはＨＭＭの状態、ｑはＨＭＭの状態系列を表すものとする。また、与えられた状態ｑｍに対する調音パラメータベクトルｘｉｔの出力確率Ｐ（ｘｉｔ｜ｑｍ，λａｖｅｒａｇｅ）を下記式（７）に示すガウス分布と仮定する。ただし、Ｍは調音パラメータベクトルの次数、Ｔは転置である。
【００３８】
【数７】
2006146042.tif 000009
【００３９】
平均調音パラメータベクトルｘｍおよび共分散行列σｍは、状態ｑｍに存在する調音パラメータベクトルを、全ての話者および全ての時刻で平均化したものであるため、話者ｉの調音パラメータベクトルｘｉｔが、ある時刻ｔにおいて状態ｑｍに存在する確率をγｉｔ（ｑｍ）と定義すると、平均調音パラメータベクトルｘｍおよび共分散行列σｍは、夫々、下記式（８）および下記式（９）により得られる。
【００４０】
【数８】
2006146042.tif 000010
【００４１】
【数９】
2006146042.tif 000011
【００４２】
ａｍ，ｎは状態ｍから状態ｎへ遷移する確率（状態遷移確率）を表す。状態遷移確率ａｍ，ｎは、話者ｉの調音パラメータベクトルｘｉ（ｔ−１）が時刻（ｔ−１）において状態ｑｍに存在し、時刻ｔにおいて状態ｑｎに存在する確率をξｉ（ｔ−１）（ｑｍ，ｑｎ）と定義すると、下記式（１０）により得られる。
【００４３】
【数１０】
2006146042.tif 000012
【００４４】
平均調音ＨＭＭのモデルλａｖｅｒａｇｅには、全ての状態ｍに対して、平均調音パラメータベクトルｘｍ、共分散行列σｍ、状態遷移確率ａｍ，ｎが含まれている。
【００４５】
平均調音モデル記憶部２０は、平均調音モデル作成部１９により作成される平均調音ＨＭＭのモデルλａｖｅｒａｇｅを記憶するものである。
【００４６】
話者適応行列計算部２１は、話者ｉの各時刻ｔにおける調音パラメータベクトルｘｉｔを、話者ｉを利用して調音パラメータ記憶部１４から取り出し、これを連結して下記式（１１）に示すベクトルｘｉを作成する。
【００４７】
【数１１】
2006146042.tif 000013
【００４８】
話者適応行列計算部２１は、平均調音モデルＨＭＭのモデルλａｖｅｒａｇｅ（平均調音モデル記憶部２０に記憶されている平均調音ＨＭＭのモデルλａｖｅｒａｇｅ、或いは、モデル置換部２６により置き換えられたモデルλａｖｅｒａｇｅ）に対して、話者ｉの連結したベクトルｘｉの出力確率Ｐ（ｘｉ｜λａｖｅｒａｇｅ）が最大となる話者適応行列Ｗｉを、最尤線形回帰（Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ  Ｌｉｎｅａｒ  Ｒｅｇｒｅｓｓｉｏｎ：ＭＬＬＲ）法に基づいて求め、求めた話者適応行列Ｗｉを話者ｉに関連付けて話者適応行列記憶部２２に記憶する。ただし、出力確率Ｐ（ｘｉ｜λａｖｅｒａｇｅ）は、モデルλａｖｅｒａｇｅにおいて、状態系列ｑを構成する一つの状態をｑｍとするとき、下記式（１２）に示すように、その状態ｑｍへの遷移確率Ｐ（ｑｍ｜λａｖｅｒａｇｅ）とその状態ｑｍに対するベクトルｘｉの出力確率Ｐ（ｘｉ｜ｑｍ，λａｖｅｒａｇｅ）との積で表され、状態ｑを構成する全ての状態に対するベクトルｘｉの出力確率を加算したものである。
【００４９】
【数１２】
2006146042.tif 000014
【００５０】
具体的には、話者適応行列計算部２１は、話者ｉに対して、下記式（１３）の値が最小となるような話者適応行列Ｗｉを求める。ただし、γｉｔ（ｑｍ）は話者ｉの調音パラメータベクトルｘｉｔが時刻ｔにおいて状態ｑｍに存在する確率である。また、式中、ｘｉｔは話者ｉと時刻ｔとを利用して調音パラメータ記憶部１４から取り出される調音パラメータベクトルｘｉｔ、ｘｍはモデルλａｖｅｒａｇｅに含まれている平均調音パラメータベクトルｘｍ、σｍはモデルλａｖｅｒａｇｅに含まれている共分散行列σｍ、σｍ−１はσｍの逆行列である。
話者適応行列計算部２１は、全ての話者に対して話者適応行列を求める。
【００５１】
【数１３】
2006146042.tif 000015
【００５２】
話者適応行列記憶部２２は、話者ごとに、話者適応行列計算部２１により求められる話者適応行列Ｗｉを話者ｉに関連付けて記憶するものである。
【００５３】
固有調音モデル作成部２３は、平均調音ＨＭＭのモデルλａｖｅｒａｇｅ（平均調音モデル記憶部２０に記憶されている平均調音ＨＭＭのモデルλａｖｅｒａｇｅ、或いは、モデル置換部２６により置き換えられたモデルλａｖｅｒａｇｅ）に含まれている平均調音パラメータベクトルｘｍと、話者ｉに対応して話者適応行列記憶部２２に記憶されている話者適応行列Ｗｉとの積をとることにより、話者ｉの平均調音パラメータベクトルＷｉｘｍを求める（推定）。これを全話者について行う。
固有調音モデル作成部２３は、求めた（推定した）話者ｉの平均調音パラメータベクトルＷｉｘｍに対する話者ｉの調音パラメータベクトルｘｉの尤度（出力確率Ｐ（ｘｉ｜λｅｉｇｅｎ）を全話者で加算し、加算した値が最大となるような固有調音ＨＭＭのモデルλｅｉｇｅｎ＝｛ｘｍ，σｍ｝を求める。そして、固有調音モデル作成部２３は、固有調音モデル記憶部２４に固有調音ＨＭＭのモデルλｅｉｇｅｎを新たに保存し、或いは、固有調音モデル記憶部２４の記憶内容を求めた固有調音ＨＭＭのモデルλｅｉｇｅｎに更新する。
【００５４】
具体的には、下記式（１４）の値が最小となる平均調音パラメータベクトルｘｍと共分散行列σｍとを求める。ただし、γｉｔ（ｑｍ）は話者ｉの調音パラメータベクトルｘｉｔが時刻ｔにおいて状態ｑｍに存在する確率である。また、式中、ｘｉｔは話者ｉと時刻ｔとを利用して調音パラメータ記憶部１４から取り出される調音パラメータベクトルｘｉｔ、ｘｍはモデルλａｖｅｒａｇｅに含まれている平均調音パラメータベクトルｘｍ、σｍはモデルλａｖｅｒａｇｅに含まれている共分散行列σｍ、σｍ−１はσｍの逆行列である。
なお、全話者で加算した尤度を最大にすることで、話者間のばらつきを考慮した学習を行うことができる。
【００５５】
【数１４】
2006146042.tif 000016
【００５６】
固有調音モデル記憶部２４は固有調音モデル作成部２３により作成される固有調音ＨＭＭのモデルλｅｉｇｅｎを記憶するものである。
【００５７】
モデル収束判定部２５は、尤度の変化が収束したかを判断する。
具体的には、話者ｉの全ての時刻における調音パラメータベクトル（調音パラメータ記憶部１４に記憶されている。）を連結したベクトルｘｉを作成する（式（１１）参照）。
モデルλａｖｅｒａｇｅ（１回目は平均調音モデル記憶部２０に記憶されているモデルλａｖｅｒａｇｅ、２回目以降はモデル置換部２６により置き換えられたモデルλａｖｅｒａｇｅ）からそれに含まれる平均調音パラメータベクトルｘｍを取り出し、話者ｉを利用して話者ｉに関連付けて話者適応行列記憶部２２に記憶されている話者適応行列Ｗｉを取り出す。取り出した平均調音パラメータベクトルｘｍと取り出した話者適応行列Ｗｉとの積をとることにより話者ｉの話者適応調音ＨＭＭを作成する。
【００５８】
モデルλａｖｅｒａｇｅにおいて、状態系列ｑを構成する一つの状態をｑｍとするとき、作成した話者適応調音ＨＭＭに含まれる平均調音パラメータベクトルおよび共分散行列に対する、話者ｉの連結したベクトルｘｉの出力確率は、その状態ｑｍへの遷移確率Ｐ（ｑｍ｜λａｖｅｒａｇｅ）とその状態ｑｍに対するベクトルｘｉの出力確率Ｐ（ｘｉ｜ｑｍ，λａｖｅｒａｇｅ）との積で表され、連結したベクトルｘｉの出力確率Ｐ（ｘｉ｜λａｖｅｒａｇｅ）は、状態系列ｑを構成する全ての状態に対するベクトルｘｉの出力確率を加算したものであるので、下記式（１５）に示すものとなる。これを全ての話者において行う。
【００５９】
【数１５】
2006146042.tif 000017
【００６０】
ここで、ｍ，ｎはＨＭＭの状態、ｑはＨＭＭの状態系列を表すものとする。また、与えられた状態ｑｍに対する調音パラメータベクトルｘｉｔの出力確率Ｐ（ｘｉｔ｜ｑｍ，λａｖｅｒａｇｅ）を下記式（１６）に示すガウス分布と仮定する。ただし、Ｍは調音パラメータベクトルの次数、Ｔは転置である。
【００６１】
【数１６】
2006146042.tif 000018
【００６２】
各話者の式（１５）により得られた値を合計する（下記式（１７））。
【００６３】
【数１７】
2006146042.tif 000019
【００６４】
モデルλｅｉｇｅｎ（固有調音モデル記憶部２４に記憶されているモデルλｅｉｇｅｎ）からそれに含まれる平均調音パラメータベクトルｘｍを取り出し、話者ｉを利用して話者ｉに関連付けて話者適応行列記憶部２２に記憶されている話者適応行列Ｗｉを取り出す。取り出した平均調音パラメータベクトルｘｍと取り出した話者適応行列Ｗｉとの積をとることにより話者ｉの話者適応調音ＨＭＭを作成する。
【００６５】
モデルλｅｉｇｅｎにおいて、状態系列ｑを構成する一つの状態をｑｍとするとき、作成した話者適応調音ＨＭＭに含まれる平均調音パラメータベクトルおよび共分散行列に対する、話者ｉの連結したベクトルｘｉの出力確率は、その状態ｑｍへの遷移確率Ｐ（ｑｍ｜λｅｉｇｅｎ）とその状態ｑｍに対するベクトルｘｉの出力確率Ｐ（ｘｉ｜ｑｍ，λｅｉｇｅｎ）との積で表され、連結したベクトルｘｉの出力確率Ｐ（ｘｉ｜λｅｉｇｅｎ）は、状態系列ｑを構成する全ての状態に対するベクトルｘｉの出力確率を加算したものであるので、下記式（１８）に示すものとなる。これを全ての話者において行う。
【００６６】
【数１８】
2006146042.tif 000020
【００６７】
ここで、ｍ，ｎはＨＭＭの状態、ｑはＨＭＭの状態系列を表すものとする。また、与えられた状態ｑｍに対する調音パラメータベクトルｘｉｔの出力確率Ｐ（ｘｉｔ｜ｑｍ，λｅｉｇｅｎ）を下記式（１９）に示すガウス分布と仮定する。ただし、Ｍは調音パラメータベクトルの次数、Ｔは転置である。
【００６８】
【数１９】
2006146042.tif 000021
【００６９】
各話者の式（１８）により得られた値を合計する（下記式（２０））。
【００７０】
【数２０】
2006146042.tif 000022
【００７１】
モデルλｅｉｇｅｎに関して式（２０）で得られる値から、モデルλａｖｅｒａｇｅに関して式（１７）で得られる値を引いた値（下記式（２１）に示す値）の絶対値が予め設定された閾値（例えば、０．０１）よりも小さくなったか否かにより判断する。
【００７２】
【数２１】
2006146042.tif 000023
【００７３】
モデル置換部２６は、モデルλａｖｅｒａｇｅを固有調音モデル記憶部２４に記憶されているモデルλｅｉｇｅｎに置き換える。
【００７４】
話者適応調音モデル作成部２７は、固有調音モデル記憶部２４から固有調音ＨＭＭのモデルλｅｉｇｅｎを取り出し、取り出したモデルλｅｉｇｅｎからそれに含まれる、全話者共通の音素固有の、平均調音パラメータベクトルｘｍを取り出す。また、話者適応調音モデル作成部２７は、話者ｉに対応して話者適応行列記憶部２２に記憶されている、話者性を表す、話者適応行列Ｗｉを取り出す。そして、話者適応調音モデル作成部２７は、取り出した平均調音パラメータベクトルｘｍと話者適応行列Ｗｉとの積をとることにより話者ｉの話者適応調音ＨＭＭを作成する。
【００７５】
発話タイミング生成部２８は、音響パラメータ生成部１１と同じレートの発話タイミングを生成する。
【００７６】
調音パラメータ作成部２９は、話者適応調音モデル作成部２７により得られる話者ｉの話者適応調音ＨＭＭを用いて、発話タイミング生成部２８により生成される発話タイミングに従って、各時刻における調音パラメータベクトルを生成する。この生成には、音声パラメータ生成アルゴリズム（徳田恵一、益子貴史、小林隆夫、今井聖、“動的特徴を用いたＨＭＭからの音声パラメータ生成アルゴリズム、”日本音響学会誌第５３巻３号（１９９７），ｐｐ．１０２−２００）を利用する。
【００７７】
まず、与えられた音素系列、すなわち、ＨＭＭの状態系列ｑを発話タイミングに応じて設定する。例えば、状態系列を下記式（２２）とする。ここで、Ｌは状態数である。
【００７８】
【数２２】
2006146042.tif 000024
【００７９】
次に、話者ｉの話者適応調音ＨＭＭから、状態系列に対応する下記式（２３）に示す平均調音パラメータベクトルｘｉと下記式（２４）に示す共分散行列σｉとを並べ、上記文献に記載された音声パラメータ生成アルゴリズムに従って、前後のフレームの連続性を考慮した調音パラメータベクトル系列ｘｉを生成する。
【００８０】
【数２３】
2006146042.tif 000025
【００８１】
【数２４】
2006146042.tif 000026
【００８２】
通常、ＨＭＭは平均調音パラメータベクトルおよび共分散を保持しているため、与えられた状態系列に対する出力確率が最大となる調音パラメータベクトル系列は、下記式（２５）が未知のベクトルＸについて最小にすることと等価であるため、与えられた状態系列における平均調音パラメータベクトルを並べたものとなる。この場合、ＨＭＭの状態間で得られた調音パラメータベクトルの不連続が起るため、なんらかの平滑化処理が後処理として必要となる。しかしながら、この場合、平滑化後の調音パラメータベクトルの出力確率が高くなることが保障されていない。
【００８３】
【数２５】
2006146042.tif 000027
【００８４】
これに対して、上記文献の音声パラメータ生成アルゴリズムは前後のフレームの連続性を考慮しつつ、出力確率が最大となる調音パラメータベクトルを生成することを行っているために、後処理として平滑化処理を行う必要がない。
【００８５】
具体的には、平均調音パラメータベクトルを、動的特徴（速度および加速度）を加えたベクトルに拡張する。すなわち、ベクトルｘを下記式（２６）とする。ここで、ｘｓはこれまでの静的な平均調音パラメータベクトルｘであり、ｘΔとｘΔ２は、下記式（２７）、（２８）で表される。これら２つのパラメータを平均調音パラメータベクトルに追加する。
【００８６】
【数２６】
2006146042.tif 000028
【００８７】
【数２７】
2006146042.tif 000029
【００８８】
【数２８】
2006146042.tif 000030
【００８９】
次に、静的な平均調音パラメータベクトルｘｓを、動的特徴を加えた平均調音パラメータベクトルに変換する行列Ｒを下記式（２９）に示すように定義する。ただし、Ｉは単位行列である。
【００９０】
【数２９】
2006146042.tif 000031
【００９１】
前後のフレームの連続性を考慮して、調音パラメータベクトルの出力確率を最大にすることは、下記式（３０）を未知のベクトルＸについて最小にすることと等価である。
【００９２】
【数３０】
2006146042.tif 000032
【００９３】
つまり、下記式（３１）を演算することである。
【００９４】
【数３１】
2006146042.tif 000033
【００９５】
音声スペクトル生成部３０は、調音・音響対コードブックの検索アルゴリズム（鏑木時彦、誉田雅彰、津村尚志、“音素ラベル付き調音・音響対コードブックの検索に基づく調音運動からの音声合成法の検討、”日本音響学会誌５４巻３号（１９９８），ｐｐ．２０７−２１４）に基づき、調音パラメータ作成部２９により生成される時刻ｔにおける調音パラメータベクトルを、コードブック記憶部１７に記憶されている各調音パラメータベクトルと比較し、その中から調音パラメータ作成部２９により生成される時刻ｔにおける調音パラメータベクトルと誤差の小さい調音パラメータベクトルを選択し、これと対となる音響パラメータベクトルを出力する。この操作を全ての時刻ｔにおいて行い、所望の音響パラメータベクトル系列を得る。
【００９６】
基本周波数生成部３１は基本周波数を生成し、パワー生成部３２はパワーを生成する。
音声合成部３３は、基本周波数生成部３１とパワー生成部３２から入力される基本周波数とパワーを、音声スペクトル生成部３０により得られる音響パラメータベクトル系列に与えて音声を合成する。
音声出力部３４は、音声合成部３３により合成される音声を出力する。
【００９７】
以下、上述した正規化を用いた音声合成装置１により行われる調音運動の正規化を用いた音声合成方法における固有調音ＨＭＭのモデルの作成の手順について図４を参照しつつ説明する。図４は音声合成装置１により行われる固有調音ＨＭＭのモデルの作成の手順を示すフローチャートである。
【００９８】
音響パラメータ生成部１１は、話者ｉにより発声された音声信号に基づき、各時刻ｔにおける音響パラメータベクトルｙｉｔを生成し、この生成した音響パラメータベクトルｙｉｔを、話者ｉと時刻ｔとに関連付けて音響パラメータ記憶部１２に保存する。これを話者ごとに行う（ステップＳ１０１）。
調音パラメータ生成部１３は、音声信号と同時計測された話者ｉの上顎（ＵＪ）、下顎（ＬＪ）、上唇（ＵＬ）、下唇（ＬＬ）、舌上の３点（Ｔ１，Ｔ２，Ｔ３）の計７点の水平位置および垂直位置に基づき、各時刻ｔにおける調音パラメータベクトルｘｉｔを生成し、この生成した調音パラメータベクトルｘｉｔを話者ｉと時刻ｔとに関連付けて調音パラメータ記憶部１４に保存する。これを話者ごとに行う（ステップＳ１０２）。
コードブック作成部１６は、話者ｉと時刻ｔとを利用して、音響パラメータ記憶部１２、調音パラメータ記憶部１４、音素系列記憶部１５の夫々から、話者ｉと時刻ｔとに対応して記憶されている、音響パラメータベクトルｙｉｔ、調音パラメータベクトルｘｉｔ、音素を取り出す。そして、コードブック作成部１６は、話者ｉと時刻ｔとに取り出した音響パラメータベクトルｙｉｔと調音パラメータベクトルｘｉｔと音素とを関連付けてコードブック記憶部１７に記憶する。これを、全ての話者の全ての時刻において行う（調音・音響対コードブックの作成）（ステップＳ１０３）。
【００９９】
調音パラメータ正規化部１８は、参照話者ｊと時刻ｔとを利用して、参照話者ｊと時刻ｔとに関連付けて調音パラメータ記憶部１４に記憶されている調音パラメータベクトルｘｊｔを取り出す。調音パラメータ正規化部１８は、参照話者以外の話者ｋと時刻ｔとを利用して、話者ｋと時刻ｔとに関連付けて調音パラメータ記憶部１４に記憶されている調音パラメータベクトルｘｋｔを取り出す。そして、調音パラメータ正規化部１８は、取り出した参照話者ｊの調音パラメータベクトルｘｊｔに含まれる上顎（ＵＪ）の位置座標（ｘｊｔ（ＵＪｘ），ｘｋｔ（ＵＪｙ））と、取り出した話者ｋの調音パラメータベクトルｘｋｔに含まれる上顎（ＵＪ）の位置座標（ｘｋｔ（ＵＪｘ），ｘｋｔ（ＵＪｙ））とが一致するように話者ｋの上顎（ＵＪ）の位置を平行移動させ、平行移動後の位置座標を新たに上顎（ＵＪ）の位置座標（ｘｋｔ（ＵＪｘ），ｘｋｔ（ＵＪｙ））とする。これを参照話者ｊ以外の全ての話者について行う。
調音パラメータ正規化部１８は、参照話者ｊの口蓋の位置座標（Ｖｘｊ，Ｖｙｊ）と話者ｋの口蓋の位置座標（Ｖｘｋ，Ｖｙｋ）とを用いて、上顎（ＵＪ）の位置に対して、参照話者ｊの口蓋の位置座標と話者ｋの口蓋の位置座標との誤差が最小になるように、話者ｋの口蓋の位置を回転させる回転角ｔｈｅｔａを求める。
調音パラメータ正規化部１８は、話者ｋの調音パラメータベクトルｘｋｔに含まれる調音器官の下顎（ＬＪ）、上唇（ＵＬ）、下唇（ＬＬ）、舌上（Ｔ１）、舌上（Ｔ２）、および舌上（Ｔ３）の位置座標の夫々を求めた回転角ｔｈｅｔａ回転させる。そして、調音パラメータ正規化部１８は、新たに平行移動後或いは回転後の各位置座標を並べて調音パラメータベクトルｘｋｔを生成する。調音パラメータ正規化部１８は、調音パラメータ記億部１４とコードブック記憶部１７とに記憶されている話者ｋの時刻ｔにおける調音パラメータベクトルｘｋｔを、新たに生成した調音パラメータベクトルｘｋｔに置き換え、調音パラメータ記億部１４とコードブック記憶部１７の記憶内容を更新する。これを、参照話者ｊ以外の全ての話者の全ての時刻において行う（調音パラメータベクトルの正規化）（ステップＳ１０４）。
【０１００】
平均調音モデル作成部１９は、調音パラメータ記憶部１４に記憶されている全ての話者の全ての時刻における調音パラメータベクトルの平均により構成される平均調音ＨＭＭのモデルλａｖｅｒａｇｅを作成し、作成した平均調音ＨＭＭのモデルλａｖｅｒａｇｅを平均調音モデル記憶部２０に保存する（ステップＳ１０５）。
【０１０１】
話者適応行列計算部２１は、平均調音モデル記憶部２０から平均調音モデルＨＭＭのモデルλａｖｅｒａｇｅを取り出す（ステップＳ１０６）。
【０１０２】
話者適応行列計算部２１は、話者ｉの各時刻ｔにおける調音パラメータベクトルｘｉｔを、話者ｉを利用して調音パラメータ記憶部１４から取り出し、これを連結したベクトルｘｉを作成する。そして、話者適応行列計算部２１は、モデルλａｖｅｒａｇｅに対して、連結したベクトルｘｉの出力確率が最大となる話者適応行列ＷｉをＭＬＬＲ法に基づいて求め、求めた話者適応行列Ｗｉを話者ｉに関連付けて話者適応行列記憶部２２に保存する。これを全ての話者において行う（ステップＳ１０７）。
【０１０３】
固有調音モデル作成部２３は、話者ｉを利用して話者適応行列記憶部２２から話者ｉに関連付けられた話者適応行列Ｗｉを取り出す。そして、固有調音モデル作成部２３は、λａｖｅｒａｇｅに含まれている平均調音パラメータベクトルｘｍと、取り出した話者適応行列Ｗｉとの積をとることにより、話者ｉの平均調音パラメータベクトルＷｉｘｍを求める（推定）。これを全話者について行う。そして、固有調音モデル作成部２３は、求めた話者ｉの平均調音パラメータベクトルＷｉｘｍに対する話者ｉの調音パラメータベクトルｘｉの尤度を全話者で加算し、加算した値が最大となるような固有調音ＨＭＭのモデルλｅｉｇｅｎ＝｛ｘｍ，σｍ｝を求める。そして、固有調音モデル作成部２３は、固有調音モデル記憶部２４に求めた固有調音ＨＭＭのモデルλｅｉｇｅｎを格納する（ステップＳ１０８）。
【０１０４】
モデル収束判定部２５は、調音パラメータ記憶部１４から話者ｉの全ての時刻における調音パラメータベクトルを取り出し、これを連結したベクトルｘｉを作成する。これを全ての話者で行う。そして、モデル収束判定部２５は、モデルλｅｉｇｅｎに対する各話者の連結したベクトルの出力確率を加算した値から、モデルλａｖｅｒａｇｅに対する各話者の連結したベクトルｘの出力確率を加算した値を引いた値が予め設定された閾値よりも小さくなったか否かにより、尤度の変化が収束したか否かを判断する（ステップＳ１０９）。尤度の変化が収束していないと判断した場合（Ｓ１０９：ＮＯ）ステップＳ１１０の処理へ進み、尤度の変化が収束したと判断した場合（Ｓ１０９：ＹＥＳ）処理を終了する。
【０１０５】
モデル置換部２６は、モデルλａｖｅｒａｇｅを今回使用していた（固有調音モデル記憶部２４に記憶されている）モデルλｅｉｇｅｎに置き換える（ステップＳ１１０）、ステップＳ１０７の処理へ戻る。尤度の変化が収束するまでモデルλｅｉｇｅｎの更新を繰り返される。
【０１０６】
以下、上述した正規化を用いた音声合成装置１により行われる調音運動の正規化を用いた音声合成方法における音声出力の手順について図５を参照しつつ説明する。図５は音声合成装置１により行われる音声出力の手順を示すフローチャートである。
【０１０７】
話者適応調音モデル作成部２７は、固有調音モデル記憶部２４から固有調音ＨＭＭのモデルλｅｉｇｅｎを取り出し、取り出したモデルλｅｉｇｅｎからそれに含まれる平均調音パラメータベクトルｘｍを取り出す。また、話者適応調音モデル作成部２７は、話者ｉに対応して話者適応行列記憶部２２に記憶されている話者適応行列Ｗｉを取り出す。そして、話者適応調音モデル作成部２７は、取り出した平均調音パラメータベクトルｘｍと話者適応行列Ｗｉとの積をとることにより話者ｉの話者適応調音ＨＭＭを作成する（ステップＳ２０１）。
【０１０８】
調音パラメータ作成部２９は、ステップＳ２０１で作成された話者ｉの話者適応調音ＨＭＭを用いて、発話タイミング生成部２８で生成された発話タイミングに従って、各時刻における調音パラメータベクトルを上記音声パラメータ生成アルゴリズムを用いて生成する（ステップＳ２０２）。
【０１０９】
音声スペクトル生成部３０は、調音・音響対コードブックの検索アルゴリズムに基づき、ステップＳ２０２で生成された時刻ｔにおける調音パラメータベクトルを、コードブック記憶部１７に記憶されている各話者の調音パラメータベクトルと比較し、その中から調音パラメータ作成部２９により生成された時刻ｔにおける調音パラメータベクトルと誤差の小さい調音パラメータベクトルを選択し、これと対となる音響パラメータベクトルを出力する。全ての時刻ｔにおいて行い、音響パラメータベクトル系列を得る（ステップＳ２０３）。
【０１１０】
音声合成部３３は、基本周波数生成部３１とパワー生成部３２から入力される基本周波数とパワー音圧とをステップＳ２０３で得た音響パラメータベクトル系列に与えて音声を合成し（ステップＳ２０４）、音声出力部３４は、ステップＳ２０４で合成された音声を出力する（ステップＳ２０５）。
【０１１１】
平均調音ＨＭＭと固有調音ＨＭＭの比較を行った結果を図６に示す。図６は、平均調音ＨＭＭ或いは固有調音ＨＭＭと話者ｉの話者適応行列Ｗｉとから話者ｉの話者適応調音ＨＭＭを作成する。そして、得られた話者適応調音ＨＭＭから生成した話者ｉの推定調音パラメータと話者ｉの観測した調音パラメータの間の誤差の平均を計算したものである。ただし、話者適応行列の数は１つとした。その結果、固有調音ＨＭＭから生成した調音パラメータの推定誤差は、平均調音ＨＭＭから生成した調音パラメータの推定誤差と比較して小さいことが分かる。特に、／ｋ／や／ｇ／などの口蓋音で固有調音ＨＭＭと平均調音ＨＭＭの間で大きな相違が見られる。これは、平均調音ＨＭＭでは特定の話者に偏って学習が行われたのに対して、固有調音ＨＭＭでは話者適応学習による話者間のばらつきを考慮した学習により、話者性の特徴が固有調音ＨＭＭから精度よく分離されたことを意味している。また、固有調音ＨＭＭの学習における繰り返しの数（反復回数）は２程度でよいことが分かる。
【０１１２】
話者適応行列Ｗｉの個数による固有調音ＨＭＭから生成した調音パラメータの推定誤差について検討する。固有調音ＨＭＭから話者ｉの適応に用いる話者適応行列Ｗｉの個数を増やすことにより、話者性の表現能力が上がることが期待される。話者適応行列の数を１個から６個に増やした場合、推定誤差は０．０４ｍｍしか減少せず、推定された調音パラメータに大きな相違が見られないことが分かる。さらに、話者適応行列を最大の７３９個に増やしても、誤差は１個の場合と比較して０．１ｍｍしか減少しない。一般に、音声スペクトルの領域においては、この話者適応行列の数が２以上必要なことが知られている。このことから、調音運動の領域においては、話者の相違を１個の話者適応行列で表現でき、これは、調音運動領域での話者性の制御が音声スペクトルと比較してうまくいくことを示唆している。
【０１１３】
話者２の観測した調音運動と、固有調音ＨＭＭの平均調音パラメータベクトルｘｍから話者適応行列Ｗ２を用いて推定した話者２の調音運動とを比較した結果を図７に示す。図７は、「気管ぜんそくや鼻炎も広まっている」という文章を用いた。調音運動全体における平均二乗誤差は約１．３５ｍｍとなった。この値は人間が同じ文章を１０回繰り返し発声した場合の調音運動の標準偏差２ｍｍよりも小さいため、推定誤差は十分に小さいといえる。
【０１１４】
図７において推定された話者２の調音運動から、話者１の調音・音響対コードブックを用いて生成した音声スペクトルを図８（ｂ）に示す。比較のため、話者１の推定された話者１の調音運動から、話者１の調音・音響対コードブックを用いて生成した音声スペクトルを図８（ａ）に示す。ここで、（ｂ）は話者２の調音運動に従って話者１が音声を生成したことを意味しており、話者１が話者２の話し方をまねたことに対応する。この結果、異なる調音パラメータから、異なる音声スペクトルを生成可能であることが分かる。さらに、得られた音声パラメータに基づき音声を合成した結果、（ｂ）の音声には十分な話者性が存在することが音声の聞き取り実験においても確認された。このことは、本手法が調音パラメータの領域において話者性を制御するのに有効であることが分かる。
【０１１５】
以上、本発明の好適な実施の形態について説明したが、本発明は上述の実施の形態に限られるものではなく、特許請求の範囲に記載した限りにおいて様々な設計変更が可能なものである。
【０１１６】
尚、上述した各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上記各種処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１１７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。更に、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【０１１８】
【図１】本発明の実施の形態における正規化を用いた音声合成装置の機能を示す機能ブロック図。
【図２】図１のコードブック記憶部に記憶される調音・音響対コードブックを説明するための図。
【図３】正規化前後の話者の調音器官の位置を示す図。
【図４】図１の音声合成装置が行う音声合成方法における固有調音ＨＭＭのモデルの作成手順を示すフローチャート。
【図５】図１の音声合成装置が行う音声合成方法における音声出力の手順を示すフローチャート。
【図６】平均調音ＨＭＭと固有調音ＨＭＭから生成された調音パラメータの推定誤差を示す図。
【図７】固有調音ＨＭＭから生成された調音運動と観測された調音運動の垂直成分を示す図。
【図８】調音運動から生成した音声スペクトルを示す図。
【符号の説明】
【０１１９】
１  音声合成装置
１１  音響パラメータ生成部
１３  調音パラメータ生成部
１４  調音パラメータ記憶部
１７  コードブック記憶部
１８  調音パラメータ正規化部
１９  平均調音モデル作成部
２０  平均調音モデル記憶部
２１  話者適応行列計算部
２２  話者適応行列記憶部
２３  固有調音モデル作成部
２４  固有調音モデル記憶部
２５  モデル収束判定部
２６  モデル置換部
２７  話者適応調音モデル作成部
２９  調音パラメータ作成部
３０  音声スペクトル生成部
【図１】
2006146042.tif 000034
【図２】
2006146042.tif 000035
【図３】
2006146042.tif 000036
【図４】
2006146042.tif 000037
【図５】
2006146042.tif 000038
【図６】
2006146042.tif 000039
【図７】
2006146042.tif 000040
【図８】
2006146042.tif 000041