(57)【要約】【課題】話者負担が低減される話者適応装置を提供する。【解決手段】音声認識に用いる話者適応装置である。音響分析部２０、音響モデル部３０を有する音声認識装置に、教師信号を与える教師信号生成部１０、話者適応部４０、音声合成部５０を備える。そして、話者適応部４０は音響分析部２０の分析結果である第１音響特徴量（音素）と教師信号（テキストコード）より、話者の第１音響特徴量が最尤となるように音響モデル部３０の各確率密度分布を変化させる。又、音声合成部５０は音響分析部２０の分析結果である話者の第２音響特徴量（ピッチ、音色）と教師信号および適応後の音響モデル部３０を用いて、教師信号を音声合成する。即ち、出力を話者に近似した音声合成で話者にフィードバックする。話者は、適応度、適応過程が把握できるので緊張が緩和され負担が軽減される。又、緊張感のない自然な音響モデルが作成される。【選択図】図１
2004101703.tif 000002
【特許請求の範囲】
【請求項１】
音声認識に用いる音響モデルを話者に適応させる話者適応装置であって、
少なくとも話者による発話の第１音響特徴量を分析する音響分析部と、
入力音声を所定の単位毎に音響特徴量の統計量で表した音響モデルと、
前記音響モデルの前記統計量を教師信号と前記第１音響特徴量に基づいて変化させて、前記音響モデルを話者に適応させる話者適応部と、
前記話者適応部によって適応された前記音響モデルと前記教師信号に基づいて音声合成する音声合成部と
を備えたことを特徴とする話者適応装置。
【請求項２】
前記話者適応部は、前記話者にテキストを表示して発話させ、該テキストコードを前記教師信号とする教師信号生成部を有することを特徴とする請求項１に記載の話者適応装置。
【請求項３】
前記音響分析部は分析結果を前記音響モデルと照合しその照合結果を前記教師信号とすることを特徴とする請求項１に記載の話者適応装置。
【請求項４】
前記音響分析部は話者固有の第２音響特徴量を分析し、該結果を前記音声合成部に送出し、前記音声合成部は前記第２音響特徴量を付加して前記音声合成することを特徴とする請求項１乃至請求項３の何れか１項に記載の話者適応装置。
【請求項５】
前記話者適応部は適応判定入力部を有し、前記音声合成の結果から適応、未適応を判定入力が可能であることを特徴とする請求項１乃至請求項４の何れか１項に記載の話者適応装置。
【請求項６】
前記統計量は確率密度分布であることを特徴とする請求項１乃至請求項５の何れか１項に記載の話者適応装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識に用いる音響モデルを話者に適応させる話者適応装置に関する。特に、入力音声を適応された音響モデルに基づいて音声合成し、その結果を話者にフィードバックする話者適応装置に関する。本発明は、運転者等の使用者がほぼ限定される車室内用の音声認識装置等に適用できる。
【０００２】
【従来の技術】
【特許文献１】
特開平７−２３０２９５号
従来より、音響モデルを用いて音声認識が行われている。音声認識は、例えば以下のように行われる。先ず、入力音声を音響分析器で分析し、その特徴量を求める。特徴量は、フーリエ変換などによるスペクトルを聴覚特性に合わせて周波数変換し、対数をとった後に低次の項と高次の項に分離する。何故なら、低次の項には音素に関する成分が現れ、高次の項には声のピッチ（高さ）の成分が現れるからである。低次の項の特徴量は、スペクトルの包絡線を表しており、例えば”ａ”、”ｉ”など発話特徴はこのスペクトルの包絡線に含まれる。これは、１６次程度のベクトル（ｖ１　〜ｖ１６）で表現される。そして、一般には不特定多数の音声を認識するため、音響モデルは多人数の特徴量が平均化され、図６に示すように確率分布で与えられる。照合時には、様々な時間フレーム（ｔ１　〜ｔｎ　）で得られた音響特徴量（ベクトル）を確率密度分布上にプロットし、その尤度（確率密度値）から”ａ”、”ｉ”等やその音素列を決定（認識）している。
【０００３】
しかしながら、不特定多数の音響モデル（以下、標準音響モデル）を用いて音声認識した場合は認識率が低いという問題がある。そこで、話者が限定される場合には特定話者用の音響モデルを用いることが有望視されている。特定話者用の音響モデルを用いて特定話者の音声を認識した場合は、その認識率が顕著に向上するからである。そこで、近年、標準音響モデルを特定話者に適応させる話者適応方式、適応化装置が提案されている。
【０００４】
例えば、特開平７−２３０２９５号に開示の話者適応方式がある。これは、内部で教師信号を作成し、それに基づいて標準音響モデルを特定話者に適応させる方式である。具体的には、図７に示すように、先ず、入力パターン作成部１０２で入力音声を分析（ベクトル化）する。そして、その分析結果を認識部１０３において、標準パターン記憶部（音響モデル）１０１と照合する。即ち、入力音声を認識しそれを教師信号とする。そして、その教師信号と入力パターン作成部１０２の分析結果を用いて、適応化用標準パターン選択部１０５が適応化用標準パターンを選択する。適応化用標準パターンは、例えば不特定多数の人音声を平均値化した単語ＨＭＭである。次に、適応化用標準パターンと入力パターン作成部１０２の分析結果との尤度計算により、教師あり適応化部１０６が適応化を行う。例えば、適応化用標準パターンに含まれる音素”ａ”やそれらの音素列に対する特定話者の特徴量との尤度計算を複数回行い、それらを平均化して適応化後ＨＭＭを算出し、それを適応した音響モデルの要素として、標準記憶パターン１０１にフィードバックする。即ち、この方式は標準音響モデルを用いて教師信号を作成し、その教師信号と話者の音響特徴量から新たな音響モデルを作成し、標準ＨＭＭを適応化後ＨＭＭに書き換える方式である。
【０００５】
【発明が解決しようする課題】
しかしながら、特開平７−２３０２９５号に開示の話者適応方式においては、適応の可否、適応の進捗状況、即ち音響モデルにおける確率密度分布の変化を把握することができない。認識率向上をもって適応を判定するのであれば、多大な時間を要し効率的ではない。又、その間、話者には緊張を強い、緊張した音声に対する音響モデルが作成される可能性がある。即ち、必ずしも的確に話者に適応した音響モデルが作成されるものではない。又、入力話者の負担が大であるという問題もある。
【０００６】
本発明は、上述した問題点を解決するためになされたものであり、その目的は、音声認識における話者適応において認識結果を音声合成によって話者にフィードバックし、適応過程を知らせることで話者に安堵感を与えて通常の発話をさせることで、より的確に話者適応した音響モデルを作成することである。
又、音声合成を話者の音色で行うことにより、より効果的に適応過程を知らせることで安堵感を与えることである。そして、さらに的確に話者適応した音響モデルを作成することである。
又、話者適応装置に適応判定入力部を備えて、音声合成の結果より適応判定入力可能とし、それにより効率よく話者適応した音響モデルを作成することである。
又、音声認識装置が教師信号生成部を具備しない場合は、標準的な音声認識によって教師信号を生成し、それを話者適応装置に利用することで、如何なる音声認識装置に対しても話者適応した音響モデルを作成可能とすることである。
尚、上記目的は、個々の発明が達成する個々の目的であって、個々の発明が全ての目的を達成するものと解釈されるべきではない。
【０００７】
【課題を解決するための手段】
請求項１に記載の話者適応装置は音声認識に用いる音響モデルを話者に適応させる話者適応装置であって、少なくとも話者による発話の第１音響特徴量を分析する音響分析部と、入力音声を所定の単位毎に音響特徴量の統計量で表した音響モデルと、その音響モデルの統計量を教師信号と第１音響特徴量に基づいて変化させて、音響モデルを話者に適応させる話者適応部と、話者適応部によって適応された音響モデルと教師信号に基づいて音声合成する音声合成部とを備えたことを特徴とする。
【０００８】
又、請求項２に記載の話者適応装置は請求項１に記載の話者適応装置であって、話者適応部は話者にテキストを表示して発話させ、そのテキストコードを教師信号とする教師信号生成部を有することを特徴とする。
又、請求項３に記載の話者適応装置は請求項１に記載の話者適応装置であって、音響分析部は分析結果を音響モデルと照合しその照合結果を教師信号とすることを特徴とする。
【０００９】
又、請求項４に記載の話者適応装置は請求項１乃至請求項３の何れか１項に記載の話者適応装置であって、音響分析部は話者固有の第２音響特徴量を分析し、その結果を音声合成部に送出し、音声合成部は話者固有の第２音響特徴量を付加して音声合成することを特徴とする。
又、請求項５に記載の話者適応装置は請求項１乃至請求項４の何れか１項に記載の話者適応装置であって、話者適応部は適応判定入力部を有し、音声合成の結果から適応、未適応の判定入力が可能であることを特徴とする。
又、請求項６に記載の話者適応装置は請求項１乃至請求項５の何れか１項に記載の話者適応装置であって、統計量を確率密度分布としたことを特徴とする。
【００１０】
【発明および効果】
請求項１に記載の話者適応装置は、音声認識に用いる音響モデルを話者に適応させる話者適応装置であって、先ず音響分析部が少なくとも話者による発話の第１音響特徴量を分析する。第１音響特徴量は、例えば、入力音声を例えばフーリエ変換などによるスペクトルを聴覚特性に合わせて周波数変換し、対数をとった後に高次の項を遮断することで得られる。低次の項、即ち第１音響特徴量は、スペクトルの包絡線を表しており、例えば”ａ”、”ｉ”などの発話特徴はこのスペクトルの包絡線に含まれる。例えば、第１音響特徴量は１６次程度のベクトル（ｖ１　〜ｖ１６）で表現される。
【００１１】
次に、話者適応部が教師信号と第１音響特徴量に基づいて音響モデルの統計量を変化させる。教師信号とは、例えば予め話者が発話するように設定された信号であり、例えば”ｔａｈａｒａ”等のテキストコードである。そして、例えば、入力音声の所定の単位の一例である、例えば、音素”ａ”に着目して、音響モデルのベクトル空間に特定話者の”ａ”に相当する第１特徴量をプロットし、”ａ”の標準音響モデルとの尤度を算出する。そして、入力音声の所定の単位、例えば、音素単位の尤度が最大となるように、又は音素列である”ｔａｈａｒａ”全体としてその尤度が最大になるように、標準音響モデルの統計量を変化させる。この統計量としては、例えば、確率密度分布、離散分布、確率密度関数等である。例えば、ベクトルのアフィン変換等によって変化させる。この変化は、統計量の一例としての確率密度分布の分散の変化、及び平均値の変化（移動）を意味する。
【００１２】
最後に、音声合成部が、教師信号と適応された音響モデルとに基づいて音声合成する。例えば、教師信号の”ｔａｈａｒａ”に対応する第１音響特徴量を適応された音響モデルから順番に抽出し、それに基づいて音声合成する。話者は入力した発話が音声合成で出力されるので、逐次、話者適応過程を把握することができる。例えば、入力音声と出力音声が異なる場合は、再度、例えば発話速度を落として入力することができる。よって、確実に話者適応する音響モデルを作成することができる。又、話者適応過程が把握できるので、話者は緊張感なく入力でき、作成された音響モデルには緊張による音響特徴量の変化がない。即ち、話者に則した自然な音響モデルを作成することができる。又、緊張感なく入力できるので話者負担も軽減することができる。なお、入力音声の所定の単位とは、音響モデルを構成する基本単位の意味であって、例えば、音素、音節、文節、それらの混合などを用いることができる。
【００１３】
又、請求項２に記載の話者適応装置は請求項１に記載の話者適応装置であって、話者適応装置は教師信号生成部を有している。教師信号生成部は例えばテキストを有したコンピュータ装置であり、そのテキストを例えばディスプレイに表示する。そして、話者にそのテキストを発話させる。同時に、そのテキストコードを教師信号として送出する。この教師信号は、従来例のように認識結果ではないので間違いがない。よって、正確に音響モデルを話者に適応させることができる。
【００１４】
又、請求項３に記載の話者適応装置は請求項１に記載の話者適応装置であって、音響分析部は分析結果を音響モデルと照合し、その照合結果を教師信号としている。よって、わざわざ教師信号生成部を設ける必要がない。既存の音響分析部による分析結果と音響モデルとの照合結果から、話者適応を容易に行うことができる。又、低価格な話者適応装置とすることができる。
【００１５】
又、請求項４に記載の話者適応装置は請求項１乃至請求項３の何れか１項に記載の話者適応装置であって、音響分析部は話者固有の第２音響特徴量を分析する。第２音響特徴量とは、入力音声を例えばフーリエ変換等などによるスペクトルを聴覚特性に合わせて周波数変換し、対数をとった後に高次の項を抽出したものである。この高次の項には話者の声のピッチ（高さ）の成分が現れる。この第２音響特徴量を音声合成部に送出する。音声合成部はこの話者固有の第２音響特徴量を付加して音声合成する。即ち、音声合成部からは話者に似た音色で入力音声が出力される。例えば、適応が進展するにつれて、音色が当該話の音色に変化する。よって、より効果的に適応過程が把握できる。
【００１６】
又、請求項５に記載の話者適応装置は請求項１乃至請求項４の何れか１項に記載の話者適応装置であって、話者適応部は適応判定入力部を有している。そして、音声合成の結果から適応、未適応を判定入力可能としている。即ち、例えば話者が適応・不適応を判定する。話者が適応と判定した場合は、適応判定入力部の例えば適応スイッチを押圧し、即座に現在の音素、又は単語の適応処理を終え、例えば次の音素の適応に移行することができる。即ち、効率よく適応処理させることができる。逆に、話者が不適応と判定した場合は適応判定入力部の例えば不適応スイッチを押圧し、再度、同一の音声を例えば話速を落として入力する。これにより、確実に現在の音素、音節の適応処理を終了させることができる。又、話者自身も音声認識し易い話速、トーン等を学習することができる。即ち、本発明の話者適応装置を用いれば、効率よく、又確実に適応処理することができる。又、請求項６に記載の話者適応装置は請求項１乃至請求項５の何れか１項に記載の話者適応装置であって、統計量を確率密度分布としたことを特徴とする。統計量を確率密度分布とすることで、音響モデルを具体的且つ適性に形成することができる。
【００１７】
【発明の実施の形態】
以下、本発明の話者適応装置とその装置について図面を参照して説明する。図１に本発明の話者適応装置の１実施例を示す。図は、システムブロック図である。本発明の音声認識装置は、教師信号生成部１０、音響分析部２０、音響モデル部３０、適応判定入力部４１を有した話者適応部４０、音声合成部５０から構成される。この構成において、教師信号生成部１０は、例えば発話テキストを表示装置１７０に表示し、話者にその表示に従って発話するように指示する装置である。又、同時にその発話のテキストコードを教師信号として話者適応部４０に送出する装置である。
【００１８】
音響分析部２０は、入力音声を分析して第１音響特徴量、第２音響特徴量を分析する装置である。第１音響特徴量は、入力音声を例えばフーリエ変換などによるスペクトルを聴覚特性に合わせて周波数変換し、対数をとった後に高次の項を遮断した特徴量である。第２音響特徴量は、その高次の項であり話者の音色を表すピッチ成分である。又、音響モデル部３０は、初期値が多人数の音響特徴の平均の確率密度分布である標準音響モデルである。この音響モデル部３０は、適応の進展に従って、後述するように徐々に変化される。
【００１９】
話者適応部４０は、教師信号生成部１０で生成された教師信号と音響分析部２０で得られた第１音響特徴量に基づいて音響モデル部３０の確率密度分布を変化させて更新する装置である。この変化は、例えば以下のようしてに行われる。先ず、例えば話者が発話した”ｔａｈａｒａ”等のテキストコード（教師信号）の”ａ”に着目し、”ａ”に対応する標準確率密度分布に話者特有の１６次程度のベクトルをプロットする。そして、その尤度が最大になるように、標準音響モデルの確率密度分布の分散の大きさ、平均値の値を変化させて、適応した確率密度分布を算出する。これを話者が発音した”ｔａｈａｒａ”の全ての音の状態と、確率密度分布との差が最小となるように、すなわち、尤度が最大となるように各確率状態密度の平均値や分散が変更される。これは、Ｍ．Ｊ．Ｆ　Ｇａｌｅｓ　ａｎｄ　Ｐ．Ｃ．ＷｏｏｄＬａｎｄ”Ｍｅａｎ　ａｎｄ　ｖａｒｉａｎｃｅ　　ａｄａｐｔａｔｉｏｎ　　ｗｉｔｈｉｎ　ｔｈｅ　ＭＩＬＬＲ　ｆｒａｍｅｗｏｒｋ　”，Ｃｏｍｐｕｔｅｒ　　Ｓｐｅｅｃｈ　　ａｎｄ　Ｌａｎｇｕａｇｅ（１９９６），１０，　２４９−２６４　に詳述されている特徴ベクトルのアフィン変換等によって算出される。これにより、話者が発話した”ｔａｈａｒａ”全体の確率密度分布が適応確率密度分布に変化され、音響モデル部３０内の各確率密度分布が更新される。
例えば、次のようにして、音響モデルの確率分布が変更される。例えば、確率分布の平均値μＭ　の適応処理は以下のようにして行われる。
適応データに対して尤度最大となる平均値ベクトルのアフィン変換を求めることによって実現する。
すなわち、適応後の平均値ベクトルをμＭ　、変換行列をＷＳ　とすると、μＭ　＝ＷＳ　ξＳ　なるＷＳ　を求めることにある。ここで、ξＳ　＝〔ω，μ１，μ２，…，　μｎ　〕′でωはオフセット項である。Ｔフレームの適応データをＯ＝ｏ１，ｏ２，…，　ｏＴ　、ＨＭＭのモデルパラメータをλ、状態系列をθとすると尤度ｆは、ｆ（Ｏ／λ）＝Σｆ（Ｏ，θ｜λ）（但し、Σはθ∈Θでの加算）と記述できる。したがって、次の補助関数を最大とするようなＷＳ　を求めれば良い。
【数１】
Ｑ（λ，λＭ　）＝Σｆ（Ｏ，θ｜λ）ｌｏｇ（ｆ（Ｏ，θ｜λＭ　））　　　…（１）
（１）式から、次式が得られる。但し、λＭ　はλの平均値である。
【数２】
2004101703.tif 000003
ここで、γｓ　（ｔ）は時刻ｔにおいて状態ｓに停留する確率、Ｃは分散共分散行列である。よって、Ｏに対して（１）式を計算することによって所望の変換行列が得られる。
したがって、話者適用処理の一例としては、各変数に音響分析結果や音響モデルより得られた値を設定して（１）式の計算を行う。
【００２０】
音声合成部５０は、適応された音響モデル部３０と教師信号及び第２音響特徴量である音色を用いて音声合成する装置である。この音声合成は、例えば徳田恵一他、”動的特徴を用いたＨＭＭからの音声パラメータ生成アルゴリズム”、日本音響学会誌（１９９７）、Ｖｏｌ　．５３．ｎｏ．３　に詳述された方法で行う。これは、音響モデルと音素列が与えられた時、音響モデルの統計的な性質上で最尤の音素系列を求める方法である。
【００２１】
次に、ＨＭＭに基づいた音声合成手法の一例について述べる。なお、ここでは簡単のため音響モデルを構成するＨＭＭの正規分布の混合数を１と仮定する。
この処理は音響モデルと発声音素列が与えられたとき、音響モデルの統計的な性質の上で最尤の音声系列（例えばケプストラム系列）を求める問題として定式化される。
したがって、生成したいＴフレームの音声系列をＯ＝［ｏ′１，ｏ′２，…ｏ′Ｔ　］、ＨＭＭのモデルパラメータをλ、ＨＭＭの状態系列をＱとするとき、Ｐ［Ｏ｜λ，　Ｔ］＝σＱ　Ｐ［Ｑ，　Ｏ｜λ，　Ｔ］を最大化するＯを求める問題と考えることができる。本発明においてはＱとＴはユーザの発声から得ることができる。すなわちシステムに入力されたユーザの発声した音声のフレーム数をＴと置き、Ｑは良く知られるＶｌｔｅｒｂｉアルゴリズムによってユーザの発声を分析することにより求めることができる。
一般にＰ［Ｏ｜λ，　Ｔ］を最大化する問題はＯとしてＱにおけるλの平均系列を与えれば良いが、音声合成における応用では状態間のつなぎ目で不連続な音声系列が出力されることになるため、適切ではない。そこで、Ｏに対して以下の拘束を与える。
【００２２】
【数３】
ｏｔ　＝［ｃ′ｔ　，　Δ（１）　ｃ′ｔ　，　Δ（２）　ｃ′ｔ　］′
Δ（ｎ）　ｃｔ　＝　ｎ−１Σｉ＝ｎ−１　ω（ｉ）　ｃｔ＋ｉ　　　　　　　　　　　…（３）
ここで、Δ（ｎ）　ｃ′ｔ　はｎ次の動的特徴ベクトル（例えばデルタケプストンラム係数とデルタデルタケプストラム係数）で、ω（ｉ）　はｉ次の線型回帰係数である。
この条件下でＰ［Ｑ，　Ｏ｜λ，　Ｔ］を最大化することを考える。　ｌｏｇＰ［Ｑ，　Ｏ｜λ，　Ｔ］は
【００２３】
【数４】
ｏｇＰ［Ｑ，　Ｏ｜λ，　Ｔ］
＝　ＫΣｋ＝１　ｌｏｇ　ｐｑｋ（ｄｑｋ）＋　ＴΣｔ＝１　ｌｏｇ　ｃｑｔ，ｉｔ　
−（Ｗｃ　−μ）′Ｕ−１　　Ｗｃ　−μ）／２−｜Ｕ｜／２−３ＭＴ（ｌｏｇ２π）　／２…（４）
【００２４】
また、
【数５】
Ｗ＝［ｗ１，ｗ２，…ｗＴ　］′
ｗｔ　＝［ｗｔ　（０）　，　ｗｔ　（１）　，　ｗｔ　（２）　］
ｗｔ　（ｎ）　＝［Ｏ　Ｍ＊Ｍ　，　…，　ＯＭ＊Ｍ　，　ω（ｎ）　（−Ｌ（ｎ）　）ＩＭ＊Ｍ　，　…，　ω（ｎ）　Ｉ
Ｍ＊Ｍ　，　…，　ω（ｎ）　（Ｌ（ｎ）　）ＩＭ＊Ｍ　，ＯＭ＊Ｍ　］′　　　　　　　　　　　…（５）
ここで、Ｔの間に通過する状態の数をＫ，状態ｑｋをｄｑｋ回継続する確率をｐｑｋ（ｄｑｋ）、ＨＭＭの平均ベクトルと共分散行列をμ，Ｕ、特徴ベクトルの次元数をＭとおく。　ＯＭ＊Ｍ　，　ＩＭ＊Ｍ　はそれぞれＭ×Ｍの零行列、単位行列である。
よって、
【００２５】
【数６】
δ　ｌｏｇＰ［Ｑ，Ｏ｜λ，Ｔ］／δ＝　ＯＴ＊Ｍ　　　　　　　　　　…（６）
から
【数７】
Ｗ′Ｕ−１Ｗｃ　＝Ｗ′Ｕ−１μ　　　　　　　　　　　　　　　　…（７）
【００２６】
が得られる。よって、式（７）　を計算することにより、式（３）　の基での尤度最大の音声系列が得られる。
したがって、ＨＭＭに基づく音声合成処理の一例としては、
１．Ｔ＝音声区間のフレーム数
２．Ｑ＝｛Ｖｉｔｅｒｂｉアルゴリズムによって得られた入力音声の状態系列｝
３．λ＝｛音響モデルのパラメータ｝
４．ｃ＝式（７）
５．ピッチ及びメルケプストラム系列（ｃ）　を例えばＭＬＳＡフィルタ［１］　に入力によって実現できる。
【００２７】
尚、上記各構成要素は図２に示す、ＣＰＵ１００、ＲＯＭ１１０、ＲＡＭ１２０、外部記憶装置１４０、Ａ／Ｄ変換装置１３０、液晶ディスプレイ等の表示装置１７０からなるコンピュータ装置によって構成され、話者音声は例えばＡ／Ｄ変換装置１３０に接続されたマイクロフォン１５０から入力され、その結果が同じくＡ／Ｄ変換装置１３０に接続されたスピーカ装置１６０から音声合成で出力される。
【００２８】
次に、本実施例の話者適応装置の動作を、図３に示す１例のフローチャートで説明する。先ず、ステップｓ１０で例えば外部記憶装置１４０に格納された音響モデル部３０から標準音響モデルを読み込む。標準音響モデルとは、多人数の音声の音素（子音と母音）を時系列に周波数スペクトルの特徴（包絡線の特徴）で統計的に表した指標であり、図６に示すように確率密度分布で表される。次に、ステップｓ１２に移行して、表示装置１７０に発話テキストを提示する。発話テキストとは、音韻をバランスさせた文章、又は単語である。これにより、登録に必要な音素列を話者に発話させる。次に、ステップｓ１４に移行し、入力された音声を音声分析する。これにより、上述した方法で基本周波数である第１音響特徴量と音色である第２音響特徴量を分析し、記憶する。これを一定の時間フレーム毎に行う。そして、ステップｓ１６に移行し、音声入力が終了か否かを判定する。これは、例えばテキストの大きさと発話速度から判定される。ｎｏ、即ち音声入力中であればステップｓ１４に戻り分析を続ける。ｙｅｓ、即ち音声入力終了ならばステップｓ１８に移行する。
【００２９】
ステップｓ１８においては、適応処理をする。適応処理は、上述のようにテキストで指定された音素の標準確率密度分布を、アフィン変換により話者の第１音響特徴量の尤度が最大になるように変化させる。例えば、図４（ａ）に示す標準音響モデルの各音素”ｔ”、”ａ”、”ｈ”の確率密度分布は、図４（ｂ）、（ｃ）に示すように”ｔ１　”、”ａ１　”、”ｈ１　”に移動される。尚、厳密にはその分散の大きさも変化される。これにより、”ｔ”、”ａ”、”ｈ”等の音素列全体に対する標準確率密度分布が特定話者用の各確率密度分布に変化される。
次に、ステップｓ２０に移行し、音声合成用の応答文を合成する。これは、教師信号生成１０の教師信号（テキストコード）と適応された音響モデル部３０の確率密度分布及び第２音響特徴量を用いて、上述の方式で合成される。即ち、与えられた音素列と音響モデルと音色から、例えば最尤の音素系列を求めることで合成する。即ち、話者の入力音声に近似した音韻で音声合成され、ステップｓ２２においてスピーカ装置１６０から出力される。
【００３０】
次に、ステップｓ２４に移行し、適応処理が終了か否か判定する。これは、例えば話者自身、又は第３者が音声入力と音声合成の出力結果を音色を含めて判定する。例えば、話者適応部４０の有する適応判定入力部４１の図示しない適応判定スイッチを押圧することで判定される。ｎｏ、即ち未適応と判定された場合は、ステップｓ１２に戻り、再度、同一のテキストを音声入力する。この時、話者は例えば話速を遅くして入力する。これにより、例えば図４（ｂ）に示す確率密度分布が図４（ｃ）に示す確率密度分布に変化する。即ち、確実に話者適応される。そして、ステップｓ２４において、ｙｅｓ、即ち適応と判定された場合は、ステップｓ２６に移行し、変化された確率密度分布を音響モデル部３０に書き込んで更新する。これにより、話者に適応した音響モデル部３０が作成される。
上述したように、本発明は適応結果を音声合成により話者にフィードバックする構成であるので、効率よく確実に音響モデルを話者適応することができる。又、話者は適応過程が音声合成で把握できるので、緊張が緩和され話者負担も低減される。
【００３１】
（変形例）
上記実施例は１例であり、他に様々な変形が考えられる。例えば、上記実施例では、教師信号生成部１０を設けてテキストを提示して、同時にそのテキストコードを教師信号としたが、この方法に限定するものではない。即ち、教師生成部１０を備えずともよい。その場合は、図５に示すように音声分析部２０に設けた照合部２１によって、第１音響特徴量と音響モデル部３０の各確率密度分布とを照合させて音素列を作成し、それを鎖線で示した教師信号として話者適応部４０に送出する。この様な構成においても、適応過程、適応結果が音声合成で話者にフィードバックされるので、効率よく確実に適応される。即ち、テキストがなくても確実に音響モデル部３０を話者に適応させることができる。このように構成してもよい。
【００３２】
また、上記実施例では、適応の良否を話者が入力しているようにしているが、これはなくとも良い。すなちわ、話者が色々な単語や文章を発話し続けると音響モデルの学習が進行する結果、話者の発話の認識確立が向上すると共に、音声合成により出力される。その結果、次第に、話者の発話通りの音となるので、全体としての学習が完了して適応化が完了したと判定される時に学習を停止すれば良い。
【図面の簡単な説明】
【図１】本発明の実施例に係る話者適応装置のシステムブロック図。
【図２】本発明の実施例に係る話者適応装置を実現するコンピュータシステム構成図。
【図３】本発明の実施例に係る話者適応装置の動作を示すフローチャート。
【図４】本発明の実施例に係る音響特徴量の時系列ベクトル表現図。
【図５】本発明の変形例に係る話者適応装置を実現するコンピュータシステム構成図。
【図６】音響モデルによる音響特徴量の確率密度分布を示した説明図。
【図７】従来の話者適応方式を説明する構成ブロック図。
【符号の説明】
１０　　　　教師信号生成部
２０　　　　音響分析部
３０　　　　音響モデル部
４０　　　　話者適応部
４１　　　　適応判定入力部
５０　　　　音声合成部
【図１】
2004101703.tif 000004
【図２】
2004101703.tif 000005
【図３】
2004101703.tif 000006
【図４】
2004101703.tif 000007
【図５】
2004101703.tif 000008
【図６】
2004101703.tif 000009
【図７】
2004101703.tif 000010