(57)【特許請求の範囲】
【請求項１】
入力音声信号をフレームごとにスペクトル分析して、入力音声パラメータベクトルを作る手順と、
発声時における複数の調音器官の少くとも位置情報を含む調音パラメータベクトルの時系列の状態遷移確率と、その各状態での出現確率と、調音パラメータベクトルから音声パラメータベクトルを決定する関数の各状態ごとの係数と、調音パラメータベクトルに対する音声パラメータベクトルの各状態ごとの出現確率を含んでそれぞれ構成された複数の確率モデルが記憶されたモデル記憶部の確率モデルを用いて、上記入力音声パラメータベクトルを用いて、その入力音声パラメータベクトル系列の出現確率が最大となる確率モデルの状態系列を決定する手順と、
を有する音声分析方法。
【請求項２】
上記状態系列に対し、上記確率モデル記憶部の確率モデルを用いて上記入力音声パラメータベクトル系列の出現確率を最大にする調音パラメータベクトルを生成する手順を含むことを特徴とする請求項１記載の音声分析方法。
【請求項３】
入力音声信号をフレームごとにスペクトル分析して入力音声パラメータベクトルを作る手順と、
発声時における複数の調音器官の少くとも位置情報を含む調音パラメータベクトルの時系列の状態遷移確率と、その状態での出現確率と、調音パラメータベクトルから音声パラメータベクトルを決定する関数の各状態ごとの係数と、調音パラメータベクトルに対する音声パラメータベクトルの各状態ごとの出現確率を含んでそれぞれ構成された複数の確率モデルが記憶されたモデル記憶部の確率モデルを用いて、上記入力音声パラメータベクトルごとに、上記各確率モデルの各状態における、入力音声パラメータ系列の出現確率が最大となる調音パラメータベクトルを生成する手順と、
上記入力音声パラメータベクトルと上記生成された調音パラメータベクトルと、上記モデル記憶部の確率モデルを用いて、上記入力音声パラメータベクトル系列の出現確率が最大となる状態系列を決定する手順と、
その決定された状態系列における調音パラメータベクトルを出力する手順と、
を有する音声分析方法。
【請求項４】
上記モデル記憶部に記憶されている確率モデルは音素ごとのものであり、
上記決定された状態系列の各状態と対応した音素系列を出力することを特徴とする請求項１又は３記載の音声分析方法。
【請求項５】
上記関数は線形関数であって、上記係数は１次の係数Ａと定数ｂであり、各状態ごとにこれに属する調音パラメータベクトルの平均と、共分散、またその係数Ａ，ｂを用いた際の誤差の平均と共分散が上記モデル記憶部に記憶され、
上記調音パラメータベクトルを生成する手順は、入力音声パラメータベクトルごとにこれが属する上記状態のＡ，ｂ、上記調音パラメータベクトルの平均と共分散、上記誤差の平均と共分散を用いて計算する手順であることを特徴とする請求項１乃至４の何れかに記載の音声分析方法。
【請求項６】
上記関数は線形関数であって、上記係数は１次の係数Ａと定数ｂであり、各状態ごとにこれに属する調音パラメータベクトルの平均と、共分散、またその係数Ａ，ｂを用いた際の誤差の平均と共分散が上記モデル記憶部に記憶され、
上記入力音声パラメータベクトルごとにこれが属する上記状態のＡ，ｂ、調音パラメータベクトルの平均と共分散、上記誤差の平均と共分散を用いて、音声パラメータベクトルの平均と共分散をそれぞれ計算し、
これら音声パラメータベクトルの平均と共分散を用いて、上記状態系列の決定手順における上記入力音声パラメータベクトル系列の出現確率の計算を行うことを特徴とする請求項１又は２記載の音声分析方法。
【請求項７】
調音パラメータベクトル、上記音声パラメータベクトルの少くとも一方は、そのパラメータの時間的変化を表す要素を含むことを特徴とする請求項１乃至５の何れかに記載の音声分析方法。
【請求項８】
入力音声信号、入力音声パラメータベクトルなどが記憶される信号記憶部と、
入力音声信号をフレームごとにスペクトル分析して、入力音声パラメータベクトルを作るスペクトル分析手段と、
発声時における複数の調音器官の少くとも位置情報を含む調音パラメータベクトルの時系列の状態遷移確率と、その各状態での出現確率と、調音パラメータベクトルから音声パラメータベクトルを決定する関数の各状態ごとの係数と、調音パラメータベクトルに対する音声パラメータベクトルの各状態ごとの出現確率を含んでそれぞれ構成された複数の確率モデルが記憶されたモデル記憶部と、
上記入力音声パラメータベクトルが入力され、上記モデル記憶部の確率モデルを参照しその入力音声パラメータベクトル系列の出現確率が最大となる確率モデルの状態系列を決定する状態系列決定手段と、
を備える音声分析装置。
【請求項９】
上記状態系列決定手段よりの上記状態系列に対し、上記確率モデル記憶部の確率モデルを参照して上記入力音声パラメータベクトル系列の出現確率を最大にする調音パラメータベクトルを生成する調音パラメータベクトル生成手段を備えることを特徴とする請求項８記載の音声分析装置。
【請求項１０】
入力音声信号をフレームごとにスペクトル分析して入力音声パラメータベクトルを作るスペクトル分析手段と、
発声時における複数の調音器官の少くとも位置情報を含む調音パラメータベクトルの時系列の状態遷移確率と、その状態での出現確率と、調音パラメータベクトルから音声パラメータベクトルを決定する関数の各状態ごとの係数と、調音パラメータベクトルに対する音声パラメータベクトルの各状態ごとの出現確率を含んでそれぞれ構成された複数の確率モデルが記憶されたモデル記憶部と、
上記モデル記憶部の確率モデルを参照して、上記入力音声パラメータベクトルごとに、上記各確率モデルの各状態における、入力音声パラメータ系列の出現確率が最大となる調音パラメータベクトルを生成する調音パラメータベクトル生成手段と、
上記入力音声パラメータベクトルと上記生成された調音パラメータベクトルが入力され、上記モデル記憶部の確率モデルを参照して、上記入力音声パラメータベクトル系列の出現確率が最大となる状態系列を決定する状態系列決定手段と、
上記決定された状態系列が入力され、その各状態の調音パラメータベクトルを出力する手段と、
を備える音声分析装置。
【請求項１１】
上記モデル記憶部に記憶されている確率モデルは音素ごとのものであり、
上記決定された状態系列が入力され、各状態と対応した音素系列を上記モデル記憶部を参照して出力する認識結果出力手段を備えることを特徴とする請求項８又は１０記載の音声分析装置。
【請求項１２】
上記関数は線形関数であって上記モデル記憶部には、上記係数は１次の係数Ａと定数ｂであり、各状態ごとにこれに属する調音パラメータベクトルの平均と、共分散、またはその係数Ａ，ｂを用いた際の誤差の平均と共分散が記憶されてあり、
上記調音パラメータベクトル生成手段は、上記モデル記憶部を参照して入力音声パラメータベクトルごとにこれが属する上記状態のＡ，ｂ、上記調音パラメータベクトルの平均と共分散、上記誤差の平均と共分散を入力してこれらにより計算する手段であることを特徴とする請求項８乃至１１の何れかに記載の音声分析装置。
【請求項１３】
上記関数は線形関数であって上記モデル記憶部には、上記係数は１次の係数Ａと定数ｂであり、各状態ごとにこれに属する調音パラメータベクトルの平均と、共分散、またはその係数Ａ，ｂを用いた際の誤差の平均と共分散が記憶されてあり、
上記モデル記憶部を参照して上記入力音声パラメータベクトルごとにこれが属する上記状態のＡ，ｂ、調音パラメータベクトルの平均と共分散、上記誤差の平均と共分散を入力してこれらにより音声パラメータベクトルの平均と共分散をそれぞれ計算し、
これら音声パラメータベクトルの平均と共分散により、上記状態系列決定手段における上記入力音声パラメータベクトル系列の出現確率の計算を行う手段を含むことを特徴とする請求項８記載の音声分析装置。
【請求項１４】
調音パラメータベクトル、上記音声パラメータベクトルの少くとも一方は、そのパラメータの時間的変化を表す要素を含むことを特徴とする請求項８乃至１３の何れかに記載の音声分析装置。
【請求項１５】
請求項１〜７の何れかに記載の音声分析方法の各手順をコンピュータに実行させるための音声分析プログラム。
【請求項１６】
請求項１５に記載の音声分析プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は入力音声信号に対し、その音声を発生した時の顎、舌、唇などの調音器官（発生器官）の各位置情報、つまり調音運動を決定する音声分析法、その装置及び音声分析プログラムとその記録媒体に関する技術である。
【０００２】
【従来の技術】
入力音声からその発生時の調音運動の逆推定手法として、調音・音響対コードブックを用いる方法がある。これは、調音運動と音声を同時に観測したデータ対の多数をコードブックに格納しておき、入力音声データにより、このコードブックを参照して近い音声データと対応する調音データを取出して調音運動を推定する。また、調音・音響対コードブックを参照して得た調音データの前後の変化状態を調べ、通常の調音運動では生じないような、調音データを排除する動的な制約を取り入れている（S.Suzuki, T.Okadome and M.Honda, “Determination of articulatory positions from speech acoustics by applying dynamic articulatory constraints,”Proc. of the 5th ICSLP, 2251-2254, 1998）。
【０００３】
このように発声時の調音器官の調音運動の分析ができれば、この分析結果を用いて、人工音声生成や言語学習など様々な音声分野に利用することができる。
【０００４】
【発明が解決しようとする課題】
従来の調音運動の逆推定法は学習データから作成した調音・音響対コードブックを用い、与えられた音声に近い音声データの調音データを求めるものであり、入力音声データ系列の各データが、コードブック内の音声データの何れかと一致するようになることは殆ど有り得ず、むしろ、大部分の入力音声データはコードブック内の音声データとわずかに異なったものである。従って、得られる調音データ系列、つまり調音運動は精度のよいものではなかった。また多量のデータから構成される調音・音響対コードブックを保持しなければならず、計算時間とメモリの使用量が膨大になるという問題もあった。
【０００５】
【課題を解決するための手段】
この発明によれば、発声時における複数の調音器官の少くとも位置情報を含む調音パラメータベクトルの時系列の状態遷移確率と、その各状態での出現確率と、調音パラメータベクトルから音声パラメータベクトルを決定する関数の各状態ごとの係数と、調音パラメータベクトルに対する音声パラメータベクトルの各状態ごとの出現確率を含んでそれぞれ構成された複数の確率モデルが記憶されたモデル記憶部を用い、
入力音声信号をスペクトル分析して入力音声パラメータベクトルを求め、
この発明の一面によれば入力音声パラメータベクトルと確率モデルを用いて、入力音声パラメータベクトル系列の出現確率が最大となる確率モデルの状態系列を決定し、その状態系列に対し、確率モデルを用いて、入力音声パラメータベクトル系列の出現確率を最大にする調音パラメータベクトルを決定し、
この発明の他の面によれば入力音声パラメータベクトルと確率モデルを用いて、確率モデルの各状態において、入力音声パラメータベクトル系列の出現確率が最大となる調音パラメータベクトルを生成し、入力音声パラメータベクトルと生成された調音パラメータベクトルおよび確率モデルを用いて、入力音声パラメータベクトル系列の出力確率が最大となる状態系列を決定することで、その状態系列に対する調音パラメータベクトルを出力する。
【０００６】
【発明の実施の形態】
以下この発明の実施形態を説明する。まずこの実施形態に用いるモデルの作成方法を図１を参照して説明する。
モデル作成
文章を連続発声した音声信号と、磁気センサシステムにより同時観測された調音データを用いて、調音・音響対コードブックを作成する。音声入力端子１１よりの音声信号はスペクトル分析部１２において、フレームごとに、例えば毎秒２５０回のレートで、窓長３２ｍｓのブラックマン窓で切り出され、スペクトル分析され、例えば０次項を除いた２１次のメルケプストラム係数が音声パラメータとして求められる。必要に応じてその音声パラメータは速度検出部１３で微分（差分）により、時間的変化として速度のパラメータが検出され、これら音声パラメータと速度パラメータを要素とするベクトルが音声パラメータベクトルｙとして合成部１４より出力される。
【０００７】
同時に観測された調音器官の複数の各位置、例えば下顎、上・下唇と舌上の４箇所との計７点のそれぞれについての水平方向および垂直方向における各位置情報信号が調音入力端子１５ａ〜１５ｎに入力され、それぞれ位置情報部１７で毎秒２５０回のレートで取り込まれ、その各位置パラメータは必要に応じて、速度検出部１８で微分（差分）により時間的変化としての速度パラメータが求められ、更に必要に応じて各速度パラメータが加速度検出部１９で微分（差分）により時間的変化としての加速度パラメータが求められる。これら各１４個の位置パラメータ、速度パラメータ、加速度パラメータを要素とするベクトルが合成部２１から調音パラメータベクトルｘとして出力される。
【０００８】
つまりこの例では音声パラメータベクトルｙ、調音パラメータベクトルｘはそれぞれ下記のように４２個の要素からなるベクトルである。
ｙ＝［ｋ，………，ｋ21，ｋ1′，………，ｋ21′］
ｘ＝［ｐa ，……，ｐn ，ｐa′，……，ｐn′，ｐa″，……，ｐn″］
このようにして同一の時点において求まった音声パラメータベクトルｙと調音パラメータベクトルｘを対とするデータを複数個、例えば２０万セット保持して調音・音響対コードブック２２を構成する。
このようにして求めた調音パラメータベクトルｘおよび音声パラメータベクトルｙを用いて確率モデル、この例では隠れマルコフモデル（以下ＨＭＭと記す）λをモデル作成部２３で作成する。このＨＭＭのモデルλの作成は、前記文章の連続発声により得られた全体の音声パラメータベクトル系列ｙの出現確率Ｐ（ｙ，ｑ｜λ）が最大となるようにする。ここでｑは全体の音声パラメータベクトル系列ｙに対する状態系列を表す。この例ではＨＭＭのモデルλの構造は、２音素組の３状態１混合ガウス分布で、スキップなしのleft-to-rightモデルとする。例えば図２に示すように３つの状態ｑ1 ，ｑ2 ，ｑ3 があり、各状態での調音パラメータベクトル、音声パラメータベクトルの各出現確率をそれぞれ１つのガウス分布とし、状態過程は同一状態から同一状態への遷移（ループ）と、ｑ1 からｑ2 又はｑ2 からｑ3 への遷移の計５つのみである。各音素について次に続く異なる音素ごとにモデルが作られる。ただし、精度を保つために、各ＨＭＭの状態に存在するデータ数が２５６以下の場合には、その状態を１音素組のＨＭＭモデルに置き換える。
【０００９】
調音パラメータベクトル系列ｘを含む場合、状態系列ｑを構成する各１つの状態をｑi とする時、状態ｑi の音声パラメータベクトルｙの出現確率は、その状態ｑi への遷移確率Ｐt ＝Ｐ（ｑi ｜λ）と、その状態ｑi に対する調音パラメータベクトルｘの出現確率Ｐx ＝Ｐ（ｘ｜ｑi ，λ）とその状態ｑi に対する調音パラメータベクトルｘに対する音声パラメータベクトルｙの出現確率Ｐy ＝Ｐ（ｙ｜ｘ，ｑi ，λ）との積である。従ってＰ（ｙ，ｑi｜λ）＝∫Ｐ（ｙ｜ｘ，ｑi ，λ）Ｐ（ｘ｜ｑi ，λ）Ｐ（ｑi｜λ）ｄｘが最大となるように各モデルを作成すればよい。ここで与えられた調音パラメータベクトルに対する音声パラメータの出現確率Ｐ（ｙ｜ｘ，ｑi ，λ）と、調音パラメータベクトルの出現確率Ｐ（ｘ｜ｑi ，λ）は共にガウス分布を仮定する。
【００１０】
図３にモデル作成部２３の処理手順例を、図４にその機能構成例を示す。この学習法は「ビタビ学習法」と呼ばれるものである。まず入力音声パラメータベクトル系列ｙ及び入力調音パラメータベクトルに系列ｘと発声文章との対応付けにより各同一音素の両パラメータベクトル対を集め、その各音素ごとに、その複数の各パラメータベクトル対ごとに前記３状態ｑ1 ，ｑ2 ，ｑ3 をそれぞれ同一時間長として対応付け、各状態ごとにモデルパラメータ演算部２４でモデルパラメータＡ，ｂ，ｘm ，σx ，ｗm ，σw を演算し、つまり初期モデルλを作って、モデル記憶部２５に記憶する（Ｓ１）。
つまり係数生成部２４ａでは、調音パラメータベクトルから音声パラメータベクトルを決定する関数ｙ＝ｆ（ｘ）として、ｙ＝Ａｘ＋ｂを用い、調音パラメータベクトルｘを用いて計算した音声パラメータベクトルｙ′＝Ａｘ＋ｂと、その調音パラメータベクトルｘと対をなす音声パラメータベクトルｙとの二乗誤差が最小となるＡとｂを求め、誤差生成部２４ｂでｙ′のｙに対する誤差ｗを求め、その誤差ｗの平均ｗm を誤差平均部２４ｃで計算し、更に誤差ｗの共分散σw を共分散計算部２４ｄで計算し、調音パラメータベクトルｘの平均ｘm を調音平均部２４ｅで計算し、調音パラメータベクトルｘの共分散σx を共分散計算部２４ｆで計算し、状態遷移確率計算部２４ｇで状態遷移確率Ｐt を計算する。初期状態遷移確率Ｐt は自己遷移確率を０．８、ある状態から他の状態に遷移する確率を０．２など適当な値に設定し、その後はある状態ｑi に注目した場合、その状態に対応するフレームすべてに対して、同じ状態に遷移するフレームの数をその状態に対応するフレームの総数で割った値を自己遷移確率とし、ある状態から他の状態に遷移する確率を（１−自己遷移確率）として計算する。
【００１１】
これらモデルパラメータＡ，ｂ，ｗm ，σw ，ｘm ，σm ，Ｐt を各音素の各状態ごとに計算してモデル記憶部２５に音素対応に記憶する。なお、変換関数はこの例では図５に示すように左辺のベクトルｙは要素数が４２であり、右辺中のベクトルｘも要素数が４２であり、係数Ａは４２×４２の行列となり、定数ｂも要素数が４２のベクトルとなる。
従ってＡ，ｂを決定するにはｙとｘの対を最低４２個必要とする。
次にこの初期モデルλに対して入力音声パラメータベクトルｙの出現確率
Ｐ（ｙ，ｑ｜λ）＝∫Ｐ（ｙ｜ｘ，ｑ，λ）Ｐ（ｘ｜ｑ，λ）Ｐ（ｑ｜λ）ｄｘ                                                      （１）
が最大になるように音声パラメータベクトルｙおよび調音パラメータベクトルｘに状態ｑi を対応付けることをビタビ（Viterbi）アルゴリズムを用いて状態系列決定部２６で決定する（Ｓ２）。つまり前記文章の最初の音素を初期値としてその各状態における調音パラメータベクトルｘに対する音声パラメータベクトルｙの出現確率Ｐ（ｙ｜ｘ，ｑ，λ）と調音パラメータベクトルｘの出現確率Ｐ（ｘ｜ｑ，λ）とを、モデル記憶部２５内のモデルを参照して、確率がガウス分有していることに基づき、それぞれ下記式（２）、式（３）により求める。
【００１２】
0004226831.tif 000002
Ｎはベクトルｙの次数、Ｍはベクトルｘの次数であり、前記例では共に４２であり、( )T は行列の転置を表わす。
【００１３】
また遷移確率Ｐ（ｑ｜λ）を求め、これらの積Ｐ（ｙ｜ｘ，ｑ，λ）とＰ（ｘ｜ｑ，λ）とＰ（ｑ｜λ）の積をブランチメトリックとし、各状態について求めたブランチメトリックの最大のものを生き残りパスとし、そのブランチメトリックをそれまでのパスメトリックに加算することを順次行う。最終的に得られたパスメトリックの最大の状態系列ｑが式（１）を最大とするものである。状態系列決定部２６には式（２）による音声パラメータベクトル出現確率計算部２６ａ、式（３）による調音パラメータベクトル出現確率計算部２６ｂ、遷移確率計算部２６ｃを備えている。
【００１４】
次にこの状態系列ｑの決定の際に求まった入力音声パラメータベクトルｙの出現確率の最大値、つまり最大パスメトリックの値が収束したかを調べ（Ｓ３）、収束していなければステップＳ２で決定された状態系列ｑと入力音声パラメータベクトル系列ｙ及び入力調音パラメータベクトル系列ｘとを対応付け、その状態系列ｑにおけるモデルからモデルへの変化点を検出して、音素区間の入力音声パラメータベクトル系列ｙ及び入力調音パラメータベクトル系列ｘに対する対応付けを再設定する（Ｓ４）。
この再設定された各音素についての音声パラメータベクトル及び調音パラメータベクトルの集合について、モデルパラメータ演算部２４で各モデルパラメータＡ，ｂ，ｗm ，σw ，ｘm ，σx ，Ｐt をそれぞれ演算し、つまり音素モデルを作成し、モデル記憶部２５の対応モデル格納部の対応モデルパラメータを更新記憶してステップＳ２に戻る（Ｓ５）。
【００１５】
以下ステップＳ２〜Ｓ５を繰返すことにより、得られる音声パラメータベクトルの出現確率の最大値はほぼ一定値となり、つまりステップＳ３で収束したことが検出されて終了とする。
このようにして得られたＨＭＭの各モデルはモデル記憶部２５に、例えば図６に示すように各音素対応のモデルλ1 〜λＪの格納部２５−１〜２５−Ｊごとに状態遷移確率Ｐt （これは前述したように各ループと隣りへとの計５つの確率よりなる）が遷移確率格納部２７に格納され、各状態ごとのＡ，ｂが係数格納部２８に格納され、ｘm ，ｗm が平均格納部２９に、σm ，σw が共分散格納部３１に格納される。
【００１６】
Ｐ（ｙ｜ｘ，ｑ，λ）は式（２）で計算され、Ｐ（ｘ｜ｑ，λ）は式（３）で計算されるから、調音パラメータベクトルｘに対する音声パラメータベクトルｙの出現確率、また調音パラメータベクトルｘの出現確率もモデル記憶部２５に格納されていると云える。なお図４において制御部３２はモデルパラメータ演算部２４、状態系列決定部２６を制御して、図３に示した処理を行うものである。
モデル作成部２３の処理方法として「ビタビ学習法」を示したが、より精度の良い学習法「ＥＭ学習法」（Expectation-Maximization)を用いてもよい。以下にこの方法を説明する。
【００１７】
この初期モデルλに対して（初期モデルの作り方はビタビ学習法と同様）、式(2)と(3)を用いて、時刻ｔ、状態ｊにおいて調音パラメータベクトルおよび音声パラメータベクトルが存在する確率γt（ｊ）、および時刻ｔ、状態ｉにおいて存在し、時刻ｔ−１、状態ｊにおいて存在する確率εt-1（ｉ，ｊ）を計算する。そして、新しいモデルλ´＝（Ａ，ｂ，ｘm，σx，ｗm，σw，ａij）をλに関する次の補助関数を最大化することにより求める。
0004226831.tif 000003
ただし、
0004226831.tif 000004
よって、式(2)と(3)を用いることで以下の再推定式を得る（偏微分して０とおけば求まる）。時刻ｔ、状態ｊにおいて、
【００１８】
【数１】
0004226831.tif 000005
0004226831.tif 000006
とした時、
ｙt＝Ｗjμt＝Ａjｘt＋ｂj
となるので、線形関数に対する再推定式は、次式となる。
ＷjΣtγt（ｊ）μtμtT＝Σtγt（ｊ）ｙtμtT
ｘの平均ｘm、共分散σxに対する再推定式は、次式となる。
ｘjm＝（Σtγt（ｊ）ｘt）／（Σtγt（ｊ））
σxj＝（Σtγt（ｊ）（ｘt−ｘjm）（ｘt−ｘjm）T）／（Σtγt（ｊ））
ｗの平均ｗm、共分散σwに対する再推定式は、次式となる。
ｗjm＝（Σtγt（ｊ）（ｙt−Ａjｘt−ｂj））／（Σtγt（ｊ））
σwj＝（Σtγt（ｊ）（ｙt−Ａjｘt−ｂj−ｗjm）（ｙt−Ａjｘt−ｂj−ｗjm）T）／（Σtγt（ｊ））
自己遷移確率に対する再推定式は、次式となる。
【００１９】
ａii＝（Σtξt-1（ｉ，ｉ））／（Σtγt-1（ｉ））
ある状態ｉから他の状態ｊに遷移する確率に対する再推定式は、次式となる。
ａij＝1−ａii
前記式(3)´により求まるＱの値の変化が収束するまで繰り返す。
調音運動推定Ａ（第１実施形態）
次に入力された音声信号に対する調音運動の推定を上述したモデルを用いて行うこの発明の第１実施形態を図７及び図８を参照して説明する。
図７に示すように入力端子４１から入力された音声信号は通常は信号記憶部４２に一旦に格納され（図８、Ｓ１）、その後、スペクトル分析部４３においてフレームごとにスペクトル分析され、音声パラメータが検出される（図８、Ｓ２−１）。この音声パラメータとしてはモデルの作成の際に用いた学習音声パラメータと同一のもの、前記例では０次項を除いた２１次のメルケプストラム係数を求める。また音声信号の切り出しも、モデル作成時と同様にすることが好ましい。
【００２０】
モデル作成時の音声パラメータベクトルｙと合せるため、求めた音声パラメータの時間的変化としての速度パラメータを速度検出部４４で求め（図８、Ｓ２−２）、これら両パラメータを合成部４５で合わせて音声パラメータベクトルｙとする（図８、Ｓ２）。この入力音声パラメータベクトルｙは信号記憶部４２に一度格納する（Ｓ３）。
入力音声パラメータベクトルｙにより、状態系列決定部４７で入力音声の出力確率を最大にする状態系列ｑを式（４）〜式（７）を用いて決定する（図８、Ｓ４）。
【００２１】
Ｐ（ｙ，ｑ｜λ）＝Ｐ（ｙ｜ｑ，λ）Ｐ（ｑ｜λ）              （４）
ここで、Ｐ（ｙ｜ｑ，λ）はガウス分布を仮定すると
Ｐ（ｙ｜ｑ，λ）＝［１／（（２π）N/2 ｜σy ｜1/2）］×ｅｘｐ［−（１／２）（ｙ−ｙm ）T σy-1(ｙ−ｙm)］        （５）
ただし、
ｙm ＝Ａｘm ＋ｂ＋ｗm                                         （６）
σy ＝Ａσx ＡT ＋σw                                         （７）
とする。つまり、無音のＨＭＭのモデルを初期値として、入力音声パラメータベクトルｙの順次入力されるフレームごとの音声パラメータベクトルｙについて、モデル記憶部２５の各モデルを参照して、各状態へのブランチメトリックを計算し、ビタビアルゴリズムにより式（４）を最大にする状態系列ｑを決定する。この際、各状態における音声パラメータベクトルの平均ｙm として、その状態のＡ，ｘm ，ｂ，ｗm を用いる式（６）を計算して求め、その共分散値σy をその状態のＡ，σx ，Ａ，σw を用いて式（７）を計算して求める。従って状態系列決定部４７にはｙm 演算部４７ａ、σy 演算部４７ｂ、音声パラメータベクトル出現確率Ｐ（ｙ｜ｑ，λ）演算部４７ｃなどを備える。
【００２２】
次にこの決定された状態系列ｑに対して入力音声パラメータベクトルｙの系列の各フレームのベクトルについて、これが属する状態ｑi の係数Ａ，ｂ、平均ｗm ，ｘm 、共分散σw ，σx を用いて入力音声パラメータベクトルの出現確率
Ｐ（ｙ｜ｑ，λ）＝∫Ｐ（ｙ｜ｘ，ｑ，λ）Ｐ（ｘ｜ｑ，λ）ｄｘ    （８）
が最大となる調音パラメータベクトルｘを調音パラメータベクトル演算部２８で求める（図８、Ｓ５）。
前述したように調音パラメータベクトルｘに対する音声パラメータベクトルｙの出現確率Ｐ（ｙ｜ｘ，ｑ，λ）と調音パラメータベクトルｘの出現確率Ｐ（ｘ｜ｑ，λ）はガウス分布であると仮定してある。それぞれ式（２）と式（３）で表わせる。
【００２３】
式（３）および（４）を式（８）に代入して、式（８）を最大化するｘを求めることは、この代入した式の分母を最小化するｘを求めればよい。つまり
Ｊ＝（ｙ−Ａｘ−ｂ−ｗm）T σw-1(ｙ−Ａｘ−ｂ−ｗm)＋（ｘ−ｘm)T σ-1(ｘ−ｘm）
を最小化するｘを求める。この式を微分して０とおくと
（σx-1 ＋ＡT σw-1 Ａ)ｘ＝σx-1 ｘm＋ＡT σw-1 （ｙ−ｂ−ｗm）      （９）
となる。この連立方程式を計算することにより、音声の出力確率が最大となる調音運動を求めることができる。つまり各フレームの音声パラメータベクトルｙi とこれが属するモデルλj の状態ｑi におけるσx ，Ａ，σw ，σx ，ｘm ，ｗm ，ｂをモデル記憶部２５が取り出して式（９）に代入し、入力音声パラメータベクトルｙの全フレームのｙi について作った連立方程式を解くことにより入力音声パラメータベクトル系列ｙの各フレームのｙi と対応する調音パラメータベクトルｘi をそれぞれ求める。
【００２４】
このようにして得られた調音パラメータベクトルｘi を、例えばその各要素ごとの系列をグラフを出力部４９としての表示器の画面に表示し、あるいはプリンタに記録し、又はデータ値として出力する（図８、Ｓ６）。これにより入力音声信号の経過と対応した調音運動軌道が求められる。
なお、図８中のステップＳ４で状態系列ｑが決定されると、その系列ｑの各状態ｑi が属するモデルの音素を、モデル記憶部２５から読み出して配列して出力部４９に出力し、画面表示あるいは電気−音響変換器により音声として放音させてもよい（図８、Ｓ７）。つまり入力音声信号に対する音声認識を行うこともできる。
【００２５】
ｙm とσy はモデル記憶部２５間に、その全ての各状態について式（６）、式（７）により計算して格納部３２に格納しておいてもよい。あるいはステップＳ４において式（６）、式（７）を計算するごとに、その結果を再利用可能なように格納部３２に格納しておくとよい。
調音運動推定Ｂ（第２実施形態）
次に入力された音声信号に対する調音運動の推定を上述したモデルを用いて行うこの発明の第２実施形態を図９及び図１０を参照して説明する。
入力音声パラメータベクトル系列ｙの生成、記憶までは第１実施形態と同一である。この第２実施形態においては調音ベクトル計算部５１において、入力音声パラメータベクトル系列ｙの各フレームごとの音声パラメータベクトルｙu について、モデル記憶部２５の各モデルの各状態について、そのモデルパラメータを用いてその入力音声パラメータベクトルｙu の出現確率が最大となる調音パラメータベクトルｘ（ｙu ，ｑi)を計算する（図１０、Ｓ４）。つまり例えば第１フレームの入力音声パラメータベクトルｙ1 について、モデルλ１の状態ｑ1 の係数Ａ，ｂ、平均ｗm ，ｘm 、共分散σw ，σx とｙ1 を式（９）に代入してｘの値ｘ（ｙ1 ，ｑ1)を求め、λ１の状態ｑ2 についても同様にｘ（ｙ1 ，ｑ2)を求め、以下同様に各モデルにつき、調音パラメータベクトルを計算する。次に第２フレームの入力音声パラメータベクトルｙ2 についてもモデルλ１〜λＪのそれぞれの状態における調音パラメータベクトルｘ（ｙ2 ，ｑi)を計算し、同様にして入力音声パラメータベクトル系列の最終のフレームの音声パラメータベクトルｙn までモデルλ１〜λＪの各状態ｑi の調音パラメータベクトルｘ（ｙn ，ｑi)を計算する。つまり図１１に示すような計算結果を得、これを調音ベクトル記憶部５２に記憶する。
【００２６】
次に状態系列決定部５３においてモデル記憶部２５に格納されているモデル、調音ベクトル記憶部５２に記憶されている調音パラメータベクトルｘ（ｙu ，ｑi)を用い、式（１）で表わされる入力音声パラメータベクトル系列ｙの出現確率が最大となる状態系列ｑを決定する（図１０、Ｓ５）。これは例えば無音モデルを初期値とし、式（３）により調音パラメータベクトルｘの出現確率Ｐ（ｘ｜ｑ，λ）を計算部５３ａで計算し、またその調音パラメータベクトルｘに対する音声ベクトルｙの出現確率Ｐ（ｙ｜ｘ，ｑ，λ）を式（２）により計算部５３ｂで計算し、この両出現確率の積を、各状態へのブランチメトリックとしてビタビアルゴリズムにより、式（１）を最大にする状態系列ｑを求めればよい。
【００２７】
この状態系列ｑの各状態の調音パラメータを、出力部４９により系列の順に調音ベクトル記憶部５２から取り出して、例えばそのパラメータごとの変化を示すグラフとして表示し、あるいは記録し又はデータとして表示、記録して入力音声信号に対する調音運動軌道を出力する（Ｓ６）。
この場合も決定された状態系列の各状態に対応したモデルの音素情報をモデル記憶部２５から出力すれば、入力音声信号に対する音声認識が行われる（Ｓ７）。
調音ベクトル計算部５１において、モデルとその各状態との考えられる全ての状態系列の組合せについて、式（８）の計算により入力音声パラメータベクトル系列ｙの出現確率が最大となるように調音パラメータベクトルを計算することにより図１１に示した各モデルの各状態ごとの調音パラメータベクトルを求めてもよい。この際、同一のｙu と同一のモデルの同一の状態に対して複数の調音パラメータベクトルが求まった場合は、その最大のものを用いる。この音声分析装置を調音運動の推定に用いる場合は、音素情報を与えても構わない。この場合は式（８）中のｑに、与えられた音素情報に基づく該当するｑｉを与えることにより、より高い精度で調音パラメータベクトル系列を求めることができる。
【００２８】
上述において、音声パラメータベクトルとしては音声スペクトルのみ、つまり速度パラメータを用いなくてもよい、また加速度パラメータを加えてもよい。同様に調音パラメータベクトルとして、その位置パラメータのみでもよく、位置パラメータとその速度パラメータとを用い、加速度パラメータを省略してもよい。ただ位置パラメータのみの場合により、速度パラメータを加えた方がよく、加速度パラメータも加えると更に精度が高くなる。音声パラメータベクトルと調音パラメータベクトルとの次数は同一にしなくてもよい。
図７及び図９に示した音声分析装置を、コンピュータにより音声分析プログラムを実行させて機能させてもよい。この場合は、図８及び図１０にそれぞれに示した手順をコンピュータに実行させるための音声分析プログラムを、コンピュータ内にＣＤ−ＲＯＭや可撓性磁気ディスクなどからインストールしたり、通信回線を介してダウンロードしてコンピュータに実行させればよい。
【００２９】
【発明の効果】
以上述べたようにこの発明によれば調音モデルｘm ，σx 及び音声生成モデルＡ，ｂ，ｗm ，σw を含む確率モデルを用い、入力音声パラメータベクトル系列の出現確率が最大になるような調音パラメータベクトルを求めており、また入力音声パラメータベクトル系列から出現確率が最大となる調音運動を生成しているため、これを精度よく求めることができ、また音声認識に用いて高い認識率が期待できる。しかも、大容量のメモリを必要とする音声パラメータベクトルと調音パラメータベクトル対を多数記憶したコードブックを必要としない。
【００３０】
この発明の方法を評価するための実験を示す。実験では、調音運動と音声は連続発声から磁気センサシステム（ＥＭＡ）を用いて同時観測されたものを用いる。調音データは、サンプリングレート２５０ＨｚでＥＭＡを用いて観測した。調音パラメータは、下顎、上下唇、舌上の４点の計７点の位置の水平および垂直位置とした。音声は８ｋＨｚサンプリングで収録されており、分析周期４ｍｓ、窓長３２ｍｓのブラックマン窓で切り出し、２１次のメルケプストラム分析を行い０次項を除いたものを音声パラメータとした。また、調音パラメータベクトルｘは、（位置・速度・加速度）のベクトルとし、音声パラメータベクトルｙは、（位置・速度）のベクトルとした。
【００３１】
同時観測した調音・音響データは、日本人男性によって発声された３５８文章（データ数２３１，９４９）である。ＨＭＭの学習には、３５８文章のうちランダムに選ばれた３４２文章から作成した。残りの１６文章は、この発明方法の評価のためのテストデータとした。
ＨＭＭの構造は、３状態１混合ガウス分布でスキップなしleft-to-rightの２音素類モデルとした。ただし、データ数の少ないステートは、１音素類モデルで置き換えた。
図１２に男性話者が「午後はたまった書類に目を通します」という文章を発声した音声信号から、この発明方法により推定された調音運動軌道（太線）と観測された調音運動軌道（細線）の垂直信号の例を示す。この図からこの発明方法により推定された調音運動起動（太線）が観測された調音運動軌道（細線）をよく再現していることがわかる。
【００３２】
この実験により推定された入力音声からの調音軌道と観測された調音軌道の平均２乗誤差は、発声時の音素情報を与えた場合は１．６８ｍｍ、音素情報を与えない場合は２．０５ｍｍとなり、従来法よりも高い精度が得られることがわかる。
また、このモデルを用いて、入力音声から尤度が最大となる調音運動を式（９）を用いて生成し、それを用いて式（１）の出現確率を最大にする状態系列を決定することで音声認識として適用した結果を示す。比較のため、従来の音声認識で用いられている手法として、ＨＭＭの学習に上記と同様に分析した音声パラメータベクトルｙのみを用い、
Ｐ（ｙ，ｑ｜λy)＝Ｐ（ｙ｜ｑ，λy)Ｐ（ｑ｜λy)                  （10）
が最大となるようにモデルλyの学習を行ない、認識の際には、与えられた音声パラメータベクトルに対して式（１０）を最大にする状態系列を決定したものを用いた。学習データおよびテストデータは上記の実験と同様のものを用い、文法ネットワーク等は与えていない。実験は、音素認識で行なった。従来法の音素認識結果は６５．５３％であるのに対し、音声と調音運動を用いて学習を行なった。この発明のモデルに基づき、音声から調音運動を式（９）により生成し、式（１）の尤度を最大にする音声認識を行なった場合は６７．５７％となった。これにより、調音運動を用いることで、従来法よりも高い認識率を得られることがわかる。子韻のような無声音は音声パラメータベクトルで表現されない場合が多いが、調音パラメータベクトルでは表現されることが多く、学習時のモデルに調音パラメータベクトルに関係するパラメータが含まれ、調音パラメータベクトルの影響が考慮されて、入力音声の出現確率が最大となる状態系列（音素系列）を求めているため、それだけ高い認識率が得られると考えられる。
【図面の簡単な説明】
【図１】この発明に用いられるモデルの生成装置の実施例の機能構成を示すブロック図。
【図２】ＨＭＭの状態遷移図の例を示す図。
【図３】モデル生成の処理手順の例を示す流れ図。
【図４】図１中のモデル作成部２３の機能構成例を示す図。
【図５】変換式ｙ＝Ａｘ＋ｂの行列表現を示す図。
【図６】この発明による音声分析用確率モデル記録媒体（モデル記憶部２５）の記憶例を示す図。
【図７】この発明による音声分析装置の第１実施形態の機能構成を示すブロック図。
【図８】この発明による音声分析方法の第１実施形態の例を示す流れ図。
【図９】この発明による音声分析装置の第２実施形態の機能構成を示すブロック図。
【図１０】この発明による音声分析方法の第２実施形態の例を示す流れ図。
【図１１】図９中の調音ベクトル記憶部５２の記憶例を示す図。
【図１２】この発明方法の実験結果による調音運動軌道と実際に観測された調音運動軌道を示す図。
【図１】
0004226831.tif 000007
【図２】
0004226831.tif 000008
【図３】
0004226831.tif 000009
【図４】
0004226831.tif 000010
【図５】
0004226831.tif 000011
【図６】
0004226831.tif 000012
【図７】
0004226831.tif 000013
【図８】
0004226831.tif 000014
【図９】
0004226831.tif 000015
【図１０】
0004226831.tif 000016
【図１１】
0004226831.tif 000017
【図１２】
0004226831.tif 000018