(57)【特許請求の範囲】
【請求項１】
適応学習データとして未知の発話内容の音声を使用する教師なし話者適応化装置であって、音声認識に用いる標準パタンを任意の話者に適応する話者適応標準パタンに更新する教師なし話者適応化装置において、
話者の入力音声から音声特徴量を抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段が抽出した音声特徴量と前記標準パタンとを照合することによりキーワード及び該キーワードの区間を認識して抽出し出力するキーワードスポッティング手段と、
前記キーワードの区間以外の区間については、全ての音声単位を組み合わせて最も照合スコアが高い系列を認識結果として出力する音韻タイプライタ型音声認識手段と、
前記標準パタン、前記キーワードスポッティング手段が抽出したキーワード、該キーワードとして抽出された区間の音声特徴量、及び前記音韻タイプライタ型音声認識手段の認識結果に基づいて、前記標準パタンを前記話者適応標準パタンへ更新する教師なし話者適応化手段と
を備えたことを特徴とする教師なし話者適応化装置。
【請求項２】
前記音韻タイプライタ型音声認識手段の音声単位は、音素である
ことを特徴とする請求項１記載の教師なし話者適応化装置。
【請求項３】
前記音韻タイプライタ型音声認識手段の音声単位は、音節である
ことを特徴とする請求項１記載の教師なし話者適応化装置。
【請求項４】
前記音韻タイプライタ型音声認識手段の音声単位は、隠れマルコフモデルの１状態である
ことを特徴とする請求項１記載の教師なし話者適応化装置。
【請求項５】
前記キーワードスポッティング手段は、複数の認識結果の候補を出力し、
前記教師なし話者適応化手段は、前記複数の候補について各々話者適応標準パタンを作成し、これらの話者適応標準パタンのパラメータを合成して１つの話者適応標準パタンを出力する
ことを特徴とする請求項１に記載の教師なし話者適応化装置。
【請求項６】
前記キーワードスポッティング手段は、複数の認識結果の候補を出力し、
前記教師なし話者適応化手段は、前記複数の候補について各々のキーワード区間の音声特徴量に対して標準パタンの更新時の寄与度を表す係数を計算し、該係数に基づいて話者適応標準パタンを出力する
ことを特徴とする請求項１に記載の教師なし話者適応化装置。
【請求項７】
前記教師なし話者適応化手段は、入力音声により話者適応標準パタンを更新する際、以前の入力音声により更新された話者適応標準パタンを標準パタンとして使用する
ことを特徴とする請求項１乃至６のいずれかに記載の教師なし話者適応化装置。
【請求項８】
前記教師なし話者適応化手段は、標準パタンのパラメータを更新することにより、話者適応標準パタンに更新する
ことを特徴とする請求項１乃至７のいずれかに記載の教師なし話者適応化装置。
【請求項９】
請求項１乃至８のいずれかに記載の教師なし話者適応化装置によって更新された話者適応標準パタンと、
話者の入力音声から特徴量を抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段が抽出した音声特徴量と前記話者適応標準パタンとを照合して認識結果を出力する照合手段と
を備えたことを特徴とする音声認識装置。
【請求項１０】
適応学習データとして未知の発話内容の音声を使用する教師なし話者適応化方法であって、音声認識に用いる標準パタンを任意の話者に適応する話者適応標準パタンに更新する教師なし話者適応化方法において、
話者の入力音声から音声特徴量を抽出し、
前記音声特徴量と前記標準パタンとからキーワードスポッティングして認識結果としてキーワードと該キーワードの区間を抽出して出力し、
前記キーワード区間以外の音声区間については、全ての音声単位を組み合わせて最も照合スコアが高い系列を認識結果として出力する音韻タイプライタを用いて認識し、
前記標準パタン、前記キーワードスポッティングして抽出されたキーワード、該キーワードとして抽出された区間の音声特徴量、前記音韻タイプライタの認識結果に基づいて、前記標準パタンを前記話者適応標準パタンへ更新する教師なし話者適応化を行う
ことを特徴とする教師なし話者適応化方法。
【請求項１１】
前記音韻タイプライタによる音声認識の音声単位は、音素である
ことを特徴とする請求項１０記載の教師なし話者適応化方法。
【請求項１２】
前記音韻タイプライタによる音声認識の音声単位は、音節である
ことを特徴とする請求項１０記載の教師なし話者適応化方法。
【請求項１３】
前記音韻タイプライタによる音声認識の音声単位は、隠れマルコフモデルの１状態である
ことを特徴とする請求項１０記載の教師なし話者適応化方法。
【請求項１４】
キーワードスポッティングによって複数の認識結果の候補を出力し、
複数のキーワードスポッティング結果の候補について各々教師なし話者適応化によって複数の話者適応標準パタンを出力し、これらの話者適応標準パタンのパラメータを合成して１つの話者適応標準パタンを出力する
ことを特徴とする請求項１０に記載の教師なし話者適応化方法。
【請求項１５】
キーワードスポッティングによって複数の認識結果の候補を出力し、
複数のキーワードスポッティング結果の候補について各々のキーワード区間の音声特徴量に対して標準パタンの更新時の寄与度を表す係数を計算し、該係数に基づいてパラメータ更新を行う
ことを特徴とする請求項１０に記載の教師なし話者適応化方法。
【請求項１６】
前記教師なし話者適応化は、入力音声により話者適応標準パタンを更新する際、以前の入力音声により更新された話者適応標準パタンを標準パタンとして使用する
ことを特徴とする請求項１０乃至１５のいずれかに記載の教師なし話者適応化方法。
【請求項１７】
前記教師なし話者適応化は、標準パタンのパラメータを更新することにより、話者適応標準パタンに更新する
ことを特徴とする請求項１０乃至１６のいずれかに記載の教師なし話者適応化方法。
【請求項１８】
請求項１０乃至１７のいずれかに記載の話者適応化方法によって更新された話者適応標準パタンと、前記抽出された音声特徴量とを照合して認識結果を出力する
ことを特徴とする音声認識方法。
【請求項１９】
適応学習データとして未知の発話内容の音声を使用する教師なし話者適応化プログラムであって、音声認識に用いる標準パタンを任意の話者に適応する話者適応標準パタンに更新する教師なし話者適応化プログラムを記録した記録媒体において、
話者の入力音声から音声特徴量を抽出する音声特徴量抽出手順と、
前記音声特徴量抽出手順が抽出した音声特徴量と前記標準パタンとを照合することによりキーワードと該キーワードの区間を認識して抽出し出力するキーワードスポッティング手順と、
前記キーワード区間以外の音声区間については、全ての音声単位を組み合わせて最も照合スコアが高い系列を認識結果として出力する音韻タイプライタ型音声認識手順と、
前記標準パタン、前記キーワードスポッティング手順が抽出したキーワード、該キーワードとして抽出された区間の音声特徴量、及び前記音韻タイプライタ型音声認識手順の認識結果に基づいて、前記標準パタンを前記話者適応標準パタンへ更新する教師なし話者適応化手順と
を備えたことを特徴とする教師なし話者適応化プログラムを記録した記録媒体。
【請求項２０】
前記音韻タイプライタ型音声認識手順の音声単位は、音素である
ことを特徴とする請求項１９記載の教師なし話者適応化プログラムを記録した記録媒体。
【請求項２１】
前記音韻タイプライタ型音声認識手順の音声単位は、音節である
ことを特徴とする請求項１９記載の教師なし話者適応化プログラムを記録した記録媒体。
【請求項２２】
前記音韻タイプライタ型音声認識手順の音声単位は、隠れマルコフモデルの１状態である
ことを特徴とする請求項１９記載の教師なし話者適応化プログラムを記録した記録媒体。
【請求項２３】
前記キーワードスポッティング手順は、複数の認識結果の候補を出力し、
前記教師なし話者適応化手順は、前記複数の候補について各々話者適応標準パタンを作成し、これらの話者適応標準パタンのパラメータを合成して１つの話者適応標準パタンを出力する
ことを特徴とする請求項１９に記載の教師なし話者適応化プログラムを記録した記録媒体。
【請求項２４】
前記キーワードスポッティング手順は、複数の認識結果の候補を出力し、
前記教師なし話者適応化手順は、前記複数の候補について各々のキーワード区間の音声特徴量に対して標準パタンの更新時の寄与度を表す係数を計算し、該係数に基づいて話者適応標準パタンを出力する
ことを特徴とする請求項１９に記載の教師なし話者適応化プログラムを記録した記録媒体。
【請求項２５】
前記教師なし話者適応化手順は、入力音声により話者適応標準パタンを更新する際、以前の入力音声により更新された話者適応標準パタンを標準パタンとして使用する
ことを特徴とする請求項１９乃至２４のいずれかに記載の教師なし話者適応化プログラムを記録した記録媒体。
【請求項２６】
前記教師なし話者適応化手順は、標準パタンのパラメータを更新することにより、話者適応標準パタンに更新する
ことを特徴とする請求項１９乃至２５のいずれかに記載の教師なし話者適応化プログラムを記録した記録媒体。
【請求項２７】
請求項１９乃至２６のいずれかに記載の教師なし話者適応化プログラムによって更新された話者適応標準パタンと話者の入力音声とから特徴量を抽出する音声特徴量抽出手順と、
前記音声特徴量抽出手順が抽出した音声特徴量と前記話者適応標準パタンとを照合して認識結果を出力する照合手順と
を備えたことを特徴とする音声認識プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識を行う標準パタンを、ある話者に適応した話者適応標準パタンに更新する教師なし話者適応化装置、教師なし話者適応化方法及び教師なし話者適応化プログラムを記録した記録媒体と、更新された話者適応標準パタンを用いた音声認識を実施する音声認識装置、音声認識方法及び音声認識プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
音声認識のアプリケーションを想定した場合、事前の話者音声の登録を必要としない不特定話者音声認識システムの要望が高く、隠れマルコフモデル(Hidden Markov Model、以下ＨＭＭとする)、ニューラルネット (Neural Network、以下ＮＮとする) を用いた音声認識方式によっての実用化検討が行われている。ＨＭＭ、ＮＮの詳細は、例えば「音声認識の基礎(上、下)」L.RABINER、B.H.JUANG、古井 監訳、1995年、11月、NTTアドバンステクノロジ (以下文献1とする)、「確率モデルによる音声認識」中川聖一、(社)電子情報通信学会(以下文献2とする)、「音声情報処理」古井貞煕 、森北出版(株)(以下文献3とする)に記されている。これらの方法は、予め多数の話者からの単語、文などの音声データを用いた標準パタンの学習によって不特定話者標準パタンを作成するものである。
【０００３】
しかしながら、ＨＭＭやＮＮによる不特定話者音声認識システムは、特定話者に限定した場合、その特定話者からの単語、文などの音声データによって標準パタンを学習した特定話者音声認識システムと比較して、単語誤り率で2〜3倍程度であるのが現状である。そこで不特定話者音声認識システムの向上を図るため、話者適応化技術の研究が最近盛んに行われている。
【０００４】
話者適応化技術は、特定話者の少量の音声データ (以下適応データとする) を用いて、音声認識システムを使用する前や使用中に、不特定話者音声認識システムの標準パタンのパラメータを適応学習して認識率の向上を図るものである。話者適応化方式については、「音声認識における話者適応」松本 弘、日本音響学会平成7年春季研究発表会講演論文集、pp.27-30、1995年3月(以下文献4とする)に詳しい。
【０００５】
話者適応化法としては、適応学習データの発話の内容に、既知の音声を用いるか、あるいは任意の未知の発話内容の音声を使用するかにより「教師あり/教師なし」の２つの方法がある（一部が発生内容既知でも教師なし）。
【０００６】
教師あり話者適応方式は、適応データを用いた適応学習後の認識精度は高いが、音声認識装置の使用者が使用前に予め決められた単語や文章を発声しなければならず、使用者の負担が大きい。
【０００７】
一方、教師なし話者適応方式は、音声認識装置の使用中に使用者が適応学習を意識することなく認識率の改善を得ようとする方法である。実際の音声認識のアプリケーションでは、教師なし話者適応の確立が望まれている。
【０００８】
従来の教師なし話者適応化としては、例えば 「Speaker Adaptation of Continuous Density ＨＭＭs Using Multivariate Linear Regression」 C. J. Leggetter and P. C. Woodland, Proc. of ICSLP94、pp.451-454、1994年 (以下文献5とする) で報告されている認識結果を発声内容として話者適応を行う方法がある。これは入力音声に対して不特定話者用の標準パタンを用いて照合を行い、照合を行った結果として得られる認識結果を発声内容であるとして、不特定話者用標準パタンを連結し、入力音声を適応データとして標準パタンのパラメータを更新方法である。
【０００９】
以下に従来例として文献５に記述されている認識結果を発声内容とする教師なし話者適応化装置を図１７のブロック図を参照して説明する。図１７において、入力音声１００１は、認識装置の使用話者が発声した単語や文章の音声である。ここでの１発声はポーズからポーズの間の単語や文節、及び文章として説明を行う。
【００１０】
音声特徴量分析手段１００２は、入力音声１００１の音声信号をＡ／Ｄ変換し、Ａ／Ｄ変換された信号を５ミリ秒〜２０ミリ秒程度の一定時間間隔のフレームで切り出し、音響分析を行って音声特徴量を抽出する。ここで音声特徴量とは、少い情報量で音声の特徴を表現できるものであり、例えばケプストラム、ケプストラムの動的特徴の物理量で構成する特徴量ベクトルである。
【００１１】
照合手段１００３は、認識辞書１００４によって設定している認識対象の単語 [W(1), W(2), ..., W(wn)]（括弧内は単語番号、wnは認識対象単語数)の発音表記から認識ユニットのラベル表記へ変換し、ラベルに対応した標準パタン１００５を連結することで認識対象単語の標準パタン[λW(1),λW(2), ...,λW(wn)]を作成する。そして音声特徴量抽出手段１００２からの出力である入力音声の音声特徴量の時系列 [o1, o2, ... oT]（Tは１発声の総フレーム数）に対して照合を行い、教師なし話者適応化用音声認識結果１００６を出力する。
【００１２】
教師なし話者適応化用音声認識結果１００６は発声に対して最も照合スコア（尤度とも言う）が高い単語番号系列 Rn'=[r'(1), r'(2),..., r'(m')] を計算し、単語番号に対応した単語Rw'=[W(r'(1)), W(r'(2)) ,..., W(r'(m'))]を出力する。ここで、r'(i)は教師なし話者適応化用音声認識結果１００６の単語列中のi番目の単語の認識辞書１００４における単語番号を示す。 また、m'は話者適応用音声認識結果１００６の単語数を示す。
【００１３】
標準パタン１００５は、予め用意した標準パタンであり、文献５では認識ユニットを前後音素環境（コンテキスト）依存の音素としたＨＭＭを用いており、多数の話者の音声データでパラメータ学習を行った標準パタンを初期の標準パタンとして使用している。ＨＭＭは、状態単位で以下の情報をパラメータとして有することで複数の認識ユニットの標準パタンを形成する。
【００１４】
(a)状態番号
(b)受理可能なコンテキストクラス
(c)先行状態及び後続状態のリスト
(d)出力確率密度分布のパラメータ
(e)自己遷移確率確率及び後続状態への遷移確率
【００１５】
認識辞書１００４は、予め定めた認識対象とする単語や文章をかな漢字表記と発音表記（または音素表記）とを対にしたテキスト表記を格納している。照合手段１００３は、この発音表記から認識ユニットラベルへの変換を行って、このラベル系列にしたがって標準パタン１００５から対応する認識ユニット標準パタンを連結して認識対象単語の標準パタンを生成する。例えば認識辞書にかな漢字表記で「青（あお）」が存在するならば、これは音素系列で表した場合は/ao/となる。離散発声の「青（あお）」の認識に用いる標準パタンは、中心音素が/a/であり、先行音素が無音、後続音素が/o/である認識ユニットのＨＭＭ λ-aoと、中心音素が/o/であり、先行音素が/a/、後続音素が無音の認識ユニットのＨＭＭλao-を連結したＨＭＭによって照合を行う。最近ではこのような前後音素環境依存の音素ＨＭＭを用いて、認識対象語彙が６０,０００単語以上の音声認識システムの検討が行われている。
【００１６】
教師なし話者適応化手段１００７は、照合手段１００３の出力である教師なし話者適応化用音声認識結果１００６と標準パタン１００５を入力し、教師なし話者適応用音声認識結果１００６の認識ユニットのラベル系列に基づき、標準パタン１００５のＨＭＭを連結し、音声特徴量抽出手段１００２からの出力である音声特徴量の時系列を適応データとして標準パタンのパラメータを更新し、教師なし話者適応標準パタン１００８を出力する。
【００１７】
文献５では、数式１で示される重回帰写像モデルに基づき、ＨＭＭのパラメータの一つであるガウス分布の平均ベクトルを線形変換することで教師なし話者適応標準パタン１００８を計算する。数式１においてμq、μaqは更新前後のガウス分布番号qの平均ベクトルであり、次元数はdであり音声特徴量ベクトルの次元数と同じである。Aはd×dの変換行列であり、bはd次元の定数項ベクトルである。変換行列Aと定数項ベクトルbは数式２によってAのp行目[ap,1, ap,2, ..., ap,d]、bのp次元目b(p)を算出する。数式２において、fr,s(p) はFのr行s列の要素、Ψは更新を行うガウス分布番号の集合、γi(t)は時刻tにガウス分布iに特徴ベクトルotが存在する期待値、μi(r)はガウス分布iの平均ベクトルのr次元目の要素、σ2i(p)はガウス分布iの共分散行列のp行p列目の要素、ot(p)は特徴ベクトルotのp次元目の要素、Tは適応学習データの総フレーム数、（＊）Tは転置行列である。
【００１８】
【数１】
0003946912.tif 000002
【００１９】
【数２】
0003946912.tif 000003
【００２０】
教師なし話者適応標準パタン１００８は、教師なし話者適応化手段１００７からの出力であり、この標準パタンを用いて音声認識を行う。
【００２１】
次に教師なし話者適応化装置を用いた音声認識装置の説明を行う。図１８は教師なし話者適応化装置を用いた音声認識装置のブロック図である。図１８に関して図１７と同一の機能ブロックは同一の符号を付し、説明を省略する。認識辞書１００４によって設定した認識対象の単語 [W(1), W(2), ..., W(wn)] の発音表記を認識ユニットラベル表記に変換し、このラベルにしたがって教師なし話者適応標準パタン１００８を連結し、認識対象単語の標準パタン[λaW(1),λaW(2), ...,λaW(wn)]を作成する。この話者適応化された認識対象単語の標準パタンを用いて、音声特徴量分析手段１００２の出力である音声特徴量に対して照合を行い、音声認識結果１１０１を出力する。このとき、入力音声１００１は教師なし適応用に用いた発声と同一でも、それ以外の発声でも良い。
【００２２】
音声認識結果１１０１は、入力音声に対して認識対象語彙で最も照合スコアが高い単語の単語番号系列 Rn = [r(1), r(2), ..., r(m)] を計算し、単語番号に対応する単語 Rw=[W(r(1)), W(r(2)), ..., W(r(m))] を出力する。ここで r(i)は音声認識結果の単語系列のi番目の単語の認識辞書単語番号を示す。 また、mは認識単語系列の単語数を示す。
【００２３】
【発明が解決しようとする課題】
従来の教師なし話者適応化装置は、照合を行って得られた話者適応用認識結果を発声内容であるとして標準パタンのパラメータの更新を行うが、認識辞書に登録されていない未登録単語を含む発声では未登録語の部分は認識辞書に存在する何れかの単語が認識結果となり、パラメータの誤った更新が行われ、教師なし話者適応後の認識率が低下することが問題であった。また、認識辞書に存在する単語の発声であっても発声変形が大きい場合は認識結果が誤り、パラメータの誤った更新が行われ、教師なし話者適応後の認識率が低下することが問題であった。
【００２４】
本発明の目的は以上の問題点を解決し、従来の認識結果を用いる教師なし話者適応方式において、未登録単語を含む発声や発声変形が大きい場合においても標準パタンのパラメータ誤推定を防ぎ、認識率が向上する教師なし話者適応化装置を提供することにある。
【００２５】
【課題を解決するための手段】
この発明の請求項１に係る教師なし話者適応化装置においては、適応学習データとして未知の発話内容の音声を使用する教師なし話者適応化装置であって、音声認識に用いる標準パタンを任意の話者に適応する話者適応標準パタンに更新する教師なし話者適応化装置において、話者の入力音声から音声特徴量を抽出する音声特徴量抽出手段と、音声特徴量抽出手段が抽出した音声特徴量と標準パタンとを照合することによりキーワード及びキーワードの区間を認識して抽出し出力するキーワードスポッティング手段と、キーワードの区間以外の区間については、全ての音声単位を組み合わせて最も照合スコアが高い系列を認識結果として出力する音韻タイプライタ型音声認識手段と、標準パタン、キーワードスポッティング手段が抽出したキーワード、キーワードとして抽出された区間の音声特徴量、及び音韻タイプライタ型音声認識手段の認識結果に基づいて、標準パタンを話者適応標準パタンへ更新する教師なし話者適応化手段とを備えている。
【００２７】
また、この発明の請求項２に係る教師なし話者適応化装置においては、音韻タイプライタ型音声認識手段の音声単位は、音素である。
【００２８】
また、この発明の請求項３に係る教師なし話者適応化装置においては、音韻タイプライタ型音声認識手段の音声単位は、音節である。
【００２９】
また、この発明の請求項４に係る教師なし話者適応化装置においては、音韻タイプライタ型音声認識手段の音声単位は、隠れマルコフモデルの１状態である。
【００３０】
また、この発明の請求項５に係る教師なし話者適応化装置においては、キーワードスポッティング手段は、複数の認識結果の候補を出力し、教師なし話者適応化手段は、複数の候補について各々話者適応標準パタンを作成し、これらの話者適応標準パタンのパラメータを合成して１つの話者適応標準パタンを出力する。
【００３１】
また、この発明の請求項６に係る教師なし話者適応化装置においては、キーワードスポッティング手段は、複数の認識結果の候補を出力し、教師なし話者適応化手段は、複数の候補について各々のキーワード区間の音声特徴量に対して標準パタンの更新時の寄与度を表す係数を計算し、係数に基づいて話者適応標準パタンを出力する。
【００３２】
また、この発明の請求項７に係る教師なし話者適応化装置においては、教師なし話者適応化手段は、入力音声により話者適応標準パタンを更新する際、以前の入力音声により更新された話者適応標準パタンを標準パタンとして使用する。
【００３３】
また、この発明の請求項８に係る教師なし話者適応化装置においては、教師なし話者適応化手段は、標準パタンのパラメータを変更することにより、話者適応標準パタンに更新する。
【００３４】
また、この発明の請求項９に係る音声認識装置においては、請求項１乃至９のいずれかに記載の教師なし話者適応化装置によって更新された話者適応標準パタンと、話者の入力音声から特徴量を抽出する音声特徴量抽出手段と、音声特徴量抽出手段が抽出した音声特徴量と話者適応標準パタンとを照合して認識結果を出力する照合手段とを備えている。
【００３６】
また、この発明の請求項１０に係る教師なし話者適応化方法においては、適応学習データとして未知の発話内容の音声を使用する教師なし話者適応化方法であって、音声認識に用いる標準パタンを任意の話者に適応する話者適応標準パタンに更新する教師なし話者適応化方法において、話者の入力音声から音声特徴量を抽出し、音声特徴量と標準パタンとからキーワードスポッティングして認識結果としてキーワードとキーワードの区間を抽出して出力し、キーワード区間以外の音声区間については、全ての音声単位を組み合わせて最も照合スコアが高い系列を認識結果として出力する音韻タイプライタを用いて認識し、標準パタン、キーワードスポッティングして抽出されたキーワード、キーワードとして抽出された区間の音声特徴量、音韻タイプライタの認識結果に基づいて、標準パタンを話者適応標準パタンへ更新する教師なし話者適応化を行う。
【００３７】
また、この発明の請求項１１に係る教師なし話者適応化方法においては、音韻タイプライタによる音声認識の音声単位は、音素である。
【００３８】
また、この発明の請求項１２に係る教師なし話者適応化方法においては、音韻タイプライタによる音声認識の音声単位は、音節である。
【００３９】
また、この発明の請求項１３に係る教師なし話者適応化方法においては、音韻タイプライタによる音声認識の音声単位は、隠れマルコフモデルの１状態である。
【００４０】
また、この発明の請求項１４に係る教師なし話者適応化方法においては、キーワードスポッティングによって複数の認識結果の候補を出力し、複数のキーワードスポッティング結果の候補について各々教師なし話者適応化によって複数の話者適応標準パタンを出力し、これらの話者適応標準パタンのパラメータを合成して１つの話者適応標準パタンを出力する。
【００４１】
また、この発明の請求項１５に係る教師なし話者適応化方法においては、キーワードスポッティングによって複数の認識結果の候補を出力し、複数のキーワードスポッティング結果の候補について各々のキーワード区間の音声特徴量に対して標準パタンの更新時の寄与度を表す係数を計算し、係数に基づいてパラメータ更新を行う。
【００４２】
また、この発明の請求項１６に係る教師なし話者適応化方法においては、教師なし話者適応化は、入力音声により話者適応標準パタンを更新する際、以前の入力音声により更新された話者適応標準パタンを標準パタンとして使用する。
【００４３】
また、この発明の請求項１７に係る教師なし話者適応化方法においては、教師なし話者適応化は、標準パタンのパラメータを変更することにより、話者適応標準パタンに更新する。
【００４４】
また、この発明の請求項１８に係る音声認識方法においては、請求項１１乃至１９のいずれかに記載の話者適応化方法によって更新された話者適応標準パタンと、抽出された音声特徴量とを照合して認識結果を出力する。
【００４６】
また、この発明の請求項１９に係る教師なし話者適応化プログラムを記録した記録媒体においては、適応学習データとして未知の発話内容の音声を使用する教師なし話者適応化プログラムであって、音声認識に用いる標準パタンを任意の話者に適応する話者適応標準パタンに更新する教師なし話者適応化プログラムを記録した記録媒体において、話者の入力音声から音声特徴量を抽出する音声特徴量抽出手順と、音声特徴量抽出手順が抽出した音声特徴量と標準パタンとを照合することによりキーワードとキーワードの区間を認識して抽出し出力するキーワードスポッティング手順と、キーワード区間以外の音声区間については、全ての音声単位を組み合わせて最も照合スコアが高い系列を認識結果として出力する音韻タイプライタ型音声認識手順と、標準パタン、キーワードスポッティング手順が抽出したキーワード、キーワードとして抽出された区間の音声特徴量、及び音韻タイプライタ型音声認識手順の認識結果に基づいて、標準パタンを話者適応標準パタンへ更新する教師なし話者適応化手順とを備えている。
【００４７】
また、この発明の請求項２０に係る教師なし話者適応化プログラムを記録した記録媒体においては、音韻タイプライタ型音声認識手順の音声単位は、音素である。
【００４８】
また、この発明の請求項２１に係る教師なし話者適応化プログラムを記録した記録媒体においては、音韻タイプライタ型音声認識手順の音声単位は、音節である。
【００４９】
また、この発明の請求項２２に係る教師なし話者適応化プログラムを記録した記録媒体においては、音韻タイプライタ型音声認識手順の音声単位は、隠れマルコフモデルの１状態である。
【００５０】
また、この発明の請求項２３に係る教師なし話者適応化プログラムを記録した記録媒体においては、キーワードスポッティング手順は、複数の認識結果の候補を出力し、教師なし話者適応化手順は、複数の候補について各々話者適応標準パタンを作成し、これらの話者適応標準パタンのパラメータを合成して１つの話者適応標準パタンを出力する。
【００５１】
また、この発明の請求項２４に係る教師なし話者適応化プログラムを記録した記録媒体においては、キーワードスポッティング手順は、複数の認識結果の候補を出力し、教師なし話者適応化手順は、複数の候補について各々のキーワード区間の音声特徴量に対して標準パタンの更新時の寄与度を表す係数を計算し、係数に基づいて話者適応標準パタンを出力する。
【００５２】
また、この発明の請求項２５に係る教師なし話者適応化プログラムを記録した記録媒体においては、教師なし話者適応化手順は、入力音声により話者適応標準パタンを更新する際、以前の入力音声により更新された話者適応標準パタンを標準パタンとして使用する。
【００５３】
また、この発明の請求項２６に係る教師なし話者適応化プログラムを記録した記録媒体においては、教師なし話者適応化手順は、標準パタンのパラメータを変更することにより、話者適応標準パタンに更新する。
【００５４】
また、この発明の請求項２７に係る音声認識プログラムを記録した記録媒体においては、請求項２１乃至２９のいずれかに記載の教師なし話者適応化プログラムによって更新された話者適応標準パタンと話者の入力音声とから特徴量を抽出する音声特徴量抽出手順と、音声特徴量抽出手順が抽出した音声特徴量と話者適応標準パタンとを照合して認識結果を出力する照合手順とを備えている。
【００５５】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１による教師なし話者適応化装置を示す構成図である。図１において従来技術の説明図である図１７と同一の機能ブロックは同一の記号を付し説明を省略する。従来技術と異る本発明の特徴的な部分は、キーワードスポッティング手段１０１とキーワードスポッティング結果に基づく教師なし話者適応化手段１０３を備えたことである。
【００５６】
図１においてキーワードスポッティング手段１０１は、音声特徴量抽出手段１００２の出力である音声特徴量と、認識辞書１００４と標準パタン１００５を入力して生成したキーワードの単語標準パタンとを照合して教師なし話者適応化用キーワードスポッティング結果１０２を出力する。キーワードスポッティング結果に基づく教師なし話者適応化手段１０３は、キーワードスポッティング手段１０１からの出力である教師なし話者適応化用キーワードスポッティング結果１０２と音声特徴量抽出手段１００２からの出力である音声特徴量と、標準パタン１００５とを入力して標準パタン１００５のパラメータの更新を行い教師なし話者適応標準パタン１００８を出力する。
【００５７】
なお、図１の教師なし話者適応化装置をソフトウェアのみで構成する場合、音声特徴量抽出手段１００２と同様の処理を実現する音声特徴量抽出手順と、キーワードスポッティング手段１０１と同様の処理を実現するキーワードスポッティング手順と、キーワードスポッティング結果に基づく教師なし話者適応化手段１０３と同様の処理を実現するキーワードスポッティング結果による教師なし話者適応化手順とから構成された教師なし話者適応化プログラムを記録した記録媒体を用意する必要がある。
【００５８】
次に動作について説明する。
キーワードスポッティング手段１０１は、認識辞書１００４で予め設定されている１種類以上のキーワード [KW(1), KW(2), ...,KW(kwn)] (括弧内はキーワード番号、kwnは総キーワード数) の発音表記から認識ユニットのラベル表記へ変換して、ラベルに対応した標準パタン１００５を連結してキーワード標準パタン[λKW(1), λKW(2) ,..., λKW(kwn)] を生成する。ここでキーワードとは、例えばキーワードを都市名とした場合はKW(1)が[東京：tookyoo]、KW(2)が[大阪:oosaka]、KW(3)が[横浜:yokohama]、KW(4)が[名古屋:nagoya]等と設定されている。
【００５９】
次にキーワード標準パタンと音声特徴量抽出手段１００２からの出力である音声特徴量を照合してキーワードとキーワードの区間を認識結果として出力する。最も簡単なキーワードスポッティング方法は、認識対象としている発声の開始フレームtsから終了フレームteの発声中の可能な全ての始端と終端の組み合わせの区間において照合を行って、照合スコアのローカルピークが、ある閾値を越えた場合にキーワードが存在したとしてキーワードとキーワードの区間を出力するものである（文献２の3.4.2章）。
【００６０】
図２はキーワードスポッティングの概念図である。図２の例では連続発声した「切符を横浜まで一枚」から予めキーワードとして定めた[横浜:yokohama]を抽出した様子である。ここで「切符を」、「まで一枚」は未登録語と仮定している。キーワードの区間はtws〜tweであり、キーワード区間以外のts〜tws-1、twe+1〜teについては結果を出力しない。このようにキーワードスポッティングを行うことで発声内に未登録単語があった場合や発声変形が大きい場合はその区間は無視し、キーワードのみを認識結果として出力するので認識誤りは少なくなる。
【００６１】
キーワードスポッティング結果に基づく教師なし話者適応化手段１０３は、キーワードスポッティング手段１０１によって抽出されたキーワードの認識ユニットのラベル系列を学習ラベルとし、キーワードの区間tws〜tweの音声特徴量を適応学習用データとして用いて標準パタン１００５のパラメータを更新する。パラメータの更新には例えば、(1)個人差に関する構造的なモデルを導入する方法である写像方式 (以下写像法とする)、(2)モデルパラメータの統計的推定法(以下統計的推定法とする)、(3)話者依存の標準パタンを基本とする方法(以下標準パタン選択法とする)を用いる。
【００６２】
（１）の写像法は、初期の標準パタンと使用話者標準パタンに対して写像の関係を少量の学習データによって計算するものである。例えば重回帰写像モデルによって変換係数を求め、この変換係数によって特定話者の標準パタンを学習する方法があり、代表的な文献として前述の文献５がある。
【００６３】
（２）の統計的推定法は、新たに得られている学習データから標準パタンを推定する場合に事前に得られている初期標準パタンから知識を利用する方法であり、例えば「A Study on Speaker Adaptation of the Parameters of Continuous DensityHidden Markov Models」 C.H.Lee, C.H.Lin, B.H.Juang, IEEE TRANSACTION ONSIGNAL PEOCESSING, Vol. 39, No. 4, 1991年 (以下文献６とする)で報告されている。
【００６４】
（３）の標準パタン選択法は予め複数の特定話者標準パタンを用意しておき、認識時に使用話者の音声データに基づいて特定話者標準パタンを選択し、選択された標準パタンによって音声認識を行う方法であり、「話者適応のための木構造話者クラスタリング」小坂、松永、嵯峨山、電子情報通信学会技術研究報告, SP93-110, 1993年12月 (以下文献７とする)によって報告されている。
【００６５】
次に本装置を使用して教師なし話者適応化によって話者適応標準パタンを生成する過程を具体的に説明する。図３はこの発明の実施の形態１による教師なし話者適応化方法を示すフローチャートである。
【００６６】
使用話者の音声を入力して、その音声に対して音声特徴量抽出処理を施し音声特徴量を抽出する（ＳＴ１１、ＳＴ１２）。
【００６７】
キーワードスポッティング手段１０１は、認識辞書１００４に格納されているキーワードの発音表記から変換して得られる認識ユニットラベル表記にしたがって標準パタン１００５を連結しキーワード標準パタンを生成し（ＳＴ１３）、キーワードスポッティングを行いキーワードとキーワードの区間を出力する（ＳＴ１４）。
【００６８】
キーワードスポッティング結果に基づく教師なし話者適応化手段１０３は、キーワードスポッティング結果であるキーワードの認識ユニットのラベル系列とキーワード区間の音声特徴量と標準パタンを用いて教師なし話者適応化を行い教師なし話者適応標準パタンを出力する（ＳＴ１５）。
【００６９】
以上に述べたように、実施の形態１によれば、キーワードスポッティング結果に基づきキーワード区間のみを標準パタンのパラメータ更新に用いる教師なし話者適応化であるので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンのパラメータの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【００７０】
実施の形態２．
図４はこの発明の実施の形態２による教師なし話者適応化装置を示す構成図である。図４において実施の形態１の説明図である図１と同一の機能ブロックには同一の記号を付し説明を省略する。本発明の特徴的な部分は、音韻タイプライタ型音声認識手段２０１とキーワードスポッティング結果と音韻タイプライタ型音声認識の結果に基づく教師なし話者適応化手段２０３とを備えたことである。
【００７１】
図４において、音韻タイプライタ型音声認識手段２０１は、キーワードスポッティング手段１０２からの出力であるキーワードの始端フレーム時刻ｔwsと終端フレーム時刻ｔweを入力して、キーワード区間以外の区間の音声特徴量に対して、全ての音声単位を組み合わせて最も照合スコア高い系列を認識結果として出力する。ここで音声単位とは単語よりも短い音素や音節の単位である。
【００７２】
キーワードスポッティング結果と音韻タイプライタ型音声認識の結果に基づく教師なし話者適応化手段２０３は、教師なし話者適応用キーワードスポッティング結果１０２と教師なし話者適応用音韻タイプライタ型音声認識の結果２０２と標準パタン１００５と音声特徴量抽出手段１００２から出力である音声特徴量を入力して教師なし話者適応を行い教師なし話者適応標準パタン１００８を出力する。
【００７３】
なお、図４の教師なし話者適応化装置をソフトウェアのみで構成する場合、音声特徴量抽出手段１００２と同様の処理を実現する音声特徴量抽出手順と、キーワードスポッティング手段１０１と同様の処理を実現するキーワードスポッティング手順と、音韻タイプライタ型音声認識手段２０１と同様の処理を実現する音韻タイプライタ型音声認識手順、キーワードスポッティング結果と音韻タイプライタ型音声認識の結果に基づく教師なし話者適応化手段２０３と同様の処理を実現するキーワードスポッティング結果と音韻タイプライタ型音声認識の結果よる教師なし話者適応化手順とから構成された教師なし話者適応化プログラムを記録した記録媒体を用意する必要がある。
【００７４】
次に動作について説明する。
音韻タイプライタ型音声認識手段２０１は、キーワードスポッティング手段１０１からの出力であるキーワードの区間を入力してキーワード区間以外の区間を抽出する。キーワードが１つ抽出された場合ではキーワードのフレーム始端と終端をｔws、ｔweとすればキーワード以外の区間はフレーム時刻ts〜tws-1とｔwe+1〜teとなる。音声単位をラベルに変換し対応する標準パタンを連結して音声単位標準パタンを生成し、キーワード以外の区間を対象に音韻タイプライタ型音声認識手段２０１によって全ての音声単位を組み合わせて最も照合スコアが高い系列を認識結果として出力する。音韻タイプライタ型音声認識は短い音声単位の接続であり、キーワードとして登録されていない未登録語や発声変形の大きな発声についても妥当な音声単位の系列を抽出できる。
【００７５】
キーワードスポッティング結果と音韻タイプライタ型音声認識の結果に基づく教師なし話者適応化手段２０３は、キーワードの区間はキーワードのラベル系列を、またキーワード区間以外は音韻タイプライタ型音声認識の結果のラベル系列を標準パタンのパラメータ更新の学習ラベルとしてパラメータの更新を行う。このときパラメータの更新は例えば実施の形態１で述べた話者適応方式を用いる。
【００７６】
次に本装置を使用して教師なし話者適応化によって教師なし話者適応標準パタンを生成する過程を具体的に説明する。図５はこの発明の実施の形態２による教師なし話者適応化方法を示すフローチャートである。
【００７７】
使用話者の音声を入力して、その音声に対して音声特徴量抽出処理を施し音声特徴量を抽出する（ＳＴ２１、ＳＴ２２）。
【００７８】
キーワードスポッティング手段１０１は、認識辞書１００４に格納されているキーワードの発音表記から変換して得られる認識ユニットのラベル表記にしたがって標準パタンを連結しキーワード標準パタンを生成し（ＳＴ２３）、キーワードスポッティングを行いキーワードとキーワードの区間を出力する（ＳＴ２４）。
【００７９】
音韻タイプライタ型音声認識手段２０１は、音声単位の認識ユニットのラベルに従って標準パタンを連結して音声単位標準パタンを生成し、キーワード区間以外の区間に対して全ての音声単位の組み合わせにおいて最も照合スコアが高い組合わせを認識結果とする（ＳＴ２５）。
【００８０】
キーワードスポッティング結果と音韻タイプライタ型音声認識の結果に基づく教師なし話者適応化手段２０３は、キーワード区間はキーワードスポッティング結果であるキーワードの認識ユニットのラベル系列、キーワード区間以外は音韻タイプライタ型音声認識の結果の認識ユニットのラベル系列を学習ラベルとし、音声特徴量を用いて教師なし話者適応を行い、標準パタンの更新を行って教師なし話者適応標準パタンを出力する（ＳＴ２６）。
【００８１】
以上に述べたように、実施の形態２によれば、キーワードスポッティング結果に基づきキーワード区間はキーワードのラベルに基づき、またキーワード区間以外は音韻タイプライタ型音声認識結果をラベルとして標準パタンのパラメータ更新に用いる教師なし話者適応化であるので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンのパラメータの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【００８２】
実施の形態３．
図６はこの発明の実施の形態３による教師なし話者適応化装置を示す構成図である。図６において実施の形態２の説明図である図４と同一の機能ブロックは同一の記号を付し説明を省略する。本発明の特徴的な部分は、音韻タイプライタ型音声認識手段が、音素タイプライタ型音声認識手段３０１であることである。
【００８３】
図６において、音素タイプライタ型音声認識手段３０１は、キーワードスポッティング手段１０１からの出力であるキーワードの区間を入力し、キーワード区間以外の区間の音声特徴量を用い、全ての音素を組み合わせて最も照合スコアが高い系列を認識結果とする。ここで音素とは日本語の場合は5つの母音と約20種類の子音のことを示す。例えば音素表記の母音は a, i, u, e, o、 子音が ng, k, j, zh, z, d, m, g, ch, r, sh, ts, s, b, q, t, w, n, p, h である。したがって、キーワード区間以外に未登録単語が存在するような発声においても、音素の全接続によって妥当な認識結果が得られる。
【００８４】
キーワードスポッティング結果と音素タイプライタ型音声認識結果に基づく教師なし話者適応化手段３０３は、教師なし話者適応用キーワードスポッティング結果１０２と教師なし話者適応用音素タイプライタ型音声認識の結果３０２と標準パタン１００５と音声特徴量抽出手段１００２から出力である音声特徴量を入力して教師なし話者適応を行い教師なし話者適応標準パタン１００８を出力する。
【００８５】
なお、図６の話者適応化装置をソフトウェアのみで構成する場合、音声特徴量抽出手段１００２と同様の処理を実現する音声特徴量抽出手順と、キーワードスポッティング手段１０１と同様の処理を実現するキーワードスポッティング手順と、音素タイプライタ型音声認識手段３０１と同等の処理を実現する音素タイプライタ型音声認識手順と、キーワードスポッティング結果と音素タイプライタ型音声認識の結果に基づく教師なし話者適応化手段３０３と同様の処理を実現するキーワードスポッティング結果と音素タイプライタ型音声認識の結果に基づく教師なし話者適応化手順とから構成された話者適応化プログラムを記録した記録媒体を用意する必要がある。
【００８６】
次に動作について説明する。
音素タイプライタ型音声認識手段３０１は、キーワードスポッティング手段からの出力であるキーワードの区間を入力してキーワード区間以外の区間を抽出する。キーワードが1つ抽出された場合ではキーワードの始端と終端をtws、tweとすればキーワード以外の区間はフレーム時刻 ts〜tws-1とtwe+1〜teとなる。音素をラベルに変換し対応する標準パタンを音素標準パタンとして、キーワード以外の区間を対象に音素タイプライタ型音声認識手段３０１によって全ての音素を組み合わせて最も照合スコアが高い音素系列を認識結果として出力する。
【００８７】
キーワードスポッティング結果と音素タイプライタ型音声認識の結果に基づく教師なし話者適応化手段３０３は、キーワードのラベル系列と音素タイプライタ型音声認識の結果のラベル系列を標準パタンのパラメータ更新の学習ラベルとしてパラメータの更新を行う。このときパラメータの更新は例えば実施の形態１で述べた話者適応方式を用いる。
【００８８】
次に本装置を使用して教師なし話者適応化によって話者適応標準パタンを生成する過程を具体的に説明する。図７はこの発明の実施の形態３による教師なし話者適応化方法を示すフローチャートである。
【００８９】
使用話者の音声を入力して、その音声に対して音声特徴量抽出処理を施し音声特徴量を抽出する（ＳＴ３１、ＳＴ３２）。
【００９０】
キーワードスポッティング手段１０１は、認識辞書１００４に格納されているキーワードの認識ユニットのラベル表記にしたがって標準パタンを連結しキーワード標準パタンを生成し（ＳＴ３３）、キーワードスポッティングを行いキーワードとキーワードの区間を出力する（ＳＴ３４）。
【００９１】
音素タイプライタ型音声認識手段３０１は、音素の認識ユニットラベルに対応する音素標準パタンを標準パタン１００４から選び、キーワード区間以外の区間に対して全ての音素の組み合わせにおいて最も照合スコアが高い組合わせを認識結果とする（ＳＴ３５）。
【００９２】
キーワードスポッティング結果と音素タイプライタ型音声認識の結果に基づく教師なし話者適応化手段３０３は、キーワード区間はキーワードスポッティング結果であるキーワードの認識ユニットのラベル系列、キーワード区間以外は音素タイプライタ型音声認識の結果の認識ユニットのラベル系列を学習ラベルとし、音声特徴量を用いて教師なし話者適応を行い、標準パタンの更新を行って教師なし話者適応標準パタンを出力する（ＳＴ３６）。
【００９３】
以上に述べたように、実施の形態３によれば、キーワードスポッティング結果に基づきキーワード区間はキーワードのラベルに基づき、またキーワード区間以外は音素タイプライタ型音声認識結果をラベルとして標準パタンのパラメータ更新に用いる教師なし話者適応化であるので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンのパラメータの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【００９４】
実施の形態４．
図８はこの発明の実施の形態４による教師なし話者適応化装置を示す構成図である。図８において実施の形態２の説明図である図４と同一の機能ブロックは同一の記号を付し説明を省略する。本発明の特徴的な部分は、音韻タイプライタ型音声認識手段が、音節タイプライタ型音声認識手段４０１であることである。
【００９５】
図８において、音節タイプライタ型音声認識手段４０１は、キーワードスポッティング手段１０１からの出力であるキーワードの区間を入力し、キーワード区間以外の区間の音声特徴量を用い、全ての音節を組み合わせて最も照合スコアが高い系列を認識結果とする。ここで音節とは日本語の場合は１つの音節は、１つの母音と１つないし複数の子音からなり、１０１の音節があり仮名に対応している。
【００９６】
キーワードスポッティング結果と音節タイプライタ型音声認識の結果に基づく教師なし話者適応化手段４０３は、キーワードスポッティング結果と音節タイプライタ型音声認識の結果と標準パタン１００５と音声特徴量抽出手段１００２から出力である音声特徴量を入力して教師なし話者適応を行い教師なし話者適応標準パタン１００８を出力する。
【００９７】
なお、図８の話者適応化装置をソフトウェアのみで構成する場合、音声特徴量抽出手段１００２と同様の処理を実現する音声特徴量抽出手順と、キーワードスポッティング手段１０１と同様の処理を実現するキーワードスポッティング手順と、音節タイプライタ型音声認識手段４０１と同等の処理を実現する音節タイプライタ型音声認識手順と、キーワードスポッティング結果と音節タイプライタ型音声認識の結果に基づく教師なし話者適応化手段４０３と同様の処理を実現するキーワードスポッティング結果と音節タイプライタ型音声認識の結果に基づく教師なし話者適応化手順とから構成された話者適応化プログラムを記録した記録媒体を用意する必要がある。
【００９８】
次に動作について説明する。
音節タイプライタ型音声認識手段４０１は、キーワードスポッティング手段１０１からの出力であるキーワードの区間を入力してキーワード区間以外の区間を抽出する。キーワードが1つ抽出された場合ではキーワードの始端と終端をtws、tweとすればキーワード以外の区間はフレーム時刻 ts〜tws-1とtwe+1〜teとなる。音節をラベルに変換し対応する標準パタンを連結して音節標準パタンを生成し、キーワード以外の区間を対象に音節タイプライタ型音声認識手段４０１によって全ての音節を組み合わせて最も照合スコアが高い系列を認識結果として出力する。
【００９９】
キーワードスポッティング結果と音節タイプライタ型音声認識の結果に基づく教師なし話者適応化手段４０３は、キーワードのラベル系列と音節タイプライタ型音声認識の結果のラベル系列を標準パタンのパラメータ更新の学習ラベルとしてパラメータの更新を行う。このときパラメータの更新は例えば実施の形態１で述べた話者適応方式を用いる。
【０１００】
次に本装置を使用して教師なし話者適応化によって話者適応標準パタンを生成する過程を具体的に説明する。図９はこの発明の実施の形態４による教師なし話者適応化方法を示すフローチャートである。
【０１０１】
使用話者の音声を入力して、その音声に対して音声特徴量抽出処理を施し音声特徴量を抽出する（ＳＴ４１、ＳＴ４２）。
【０１０２】
キーワードスポッティング手段１０１は、認識辞書１００４に格納されているキーワードの認識ユニットのラベル表記にしたがって標準パタンを連結しキーワード標準パタンを生成し（ＳＴ４３）、キーワードスポッティングを行いキーワードとキーワードの区間を出力する（ＳＴ４４）。
【０１０３】
音節タイプライタ型音声認識手段４０１は、音節の認識ユニットのラベル系列に対応する標準パタンを連結して音節標準パタンを作成し、キーワード区間以外の区間に対して全ての音節の組み合わせにおいて最も照合スコアが高い組合わせを認識結果とする（ＳＴ４５）。
【０１０４】
キーワードスポッティング結果と音節タイプライタ型音声認識の結果に基づく教師なし話者適応化手段４０３は、キーワード区間はキーワードスポッティング結果であるキーワードの認識ユニットのラベル系列、キーワード区間以外は音節タイプライタ型音声認識の結果の認識ユニットのラベル系列を学習ラベルとし、音声特徴量を用いて教師なし話者適応を行い、標準パタンの更新を行って話者適応標準パタンを出力する（ＳＴ４６）。
【０１０５】
以上に述べたように、実施の形態４によれば、キーワードスポッティング結果に基づきキーワード区間はキーワードのラベルに基づき、またキーワード区間以外は音節タイプライタ型音声認識結果をラベルとして標準パタンのパラメータ更新に用いる教師なし話者適応化であるので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンのパラメータの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１０６】
実施の形態５．
図１０はこの発明の実施の形態５による教師なし話者適応化装置を示す構成図である。図１０において実施の形態２の説明図である図４と同一の機能ブロックは同一の記号を付し説明を省略する。本発明の特徴的な部分は、標準パタンが隠れマルコフモデル(Hidden Markov Model、以下ＨＭＭとする)で構成され、音韻タイプライタ型音声認識手段が、ＨＭＭ状態全接続型音声認識手段５０１であることである。
【０１０７】
図１０において、ＨＭＭ状態全接続型音声認識手段５０１は、キーワードスポッティング手段１０１からの出力であるキーワードの区間を入力し、キーワード区間以外の区間の音声特徴量を用い、全てのＨＭＭの状態を組み合わせて最も照合スコア高い状態系列を出力とする。
【０１０８】
キーワードスポッティング結果とＨＭＭ状態全接続型音声認識の結果に基づく教師なし話者適応化手段５０３は、キーワードスポッティング結果とＨＭＭ状態全接続型音声認識の結果とＨＭＭで構成した標準パタン１００５と音声特徴量抽出手段１００２から出力である音声特徴量を入力して教師なし話者適応を行い教師なし話者適応標準パタン１００８を出力する。
【０１０９】
なお、図１０の話者適応化装置をソフトウェアのみで構成する場合、音声特徴量抽出手段１００２と同様の処理を実現する音声特徴量抽出手順と、キーワードスポッティング手段１０１と同様の処理を実現するキーワードスポッティング手順と、ＨＭＭ状態全接続型音声認識手段５０１と同等の処理を実現するＨＭＭ状態全接続型音声認識手順と、キーワードスポッティング結果とＨＭＭ状態全接続型音声認識の結果に基づく教師なし話者適応化手段５０３と同様の処理を実現するキーワードスポッティング結果とＨＭＭ状態全接続型音声認識の結果に基づく教師なし話者適応化手順とから構成された話者適応化プログラムを記録した記録媒体を用意する必要がある。
【０１１０】
次に動作について説明する。
ＨＭＭ状態全接続型音声認識手段５０１は、キーワードスポッティング手段からの出力であるキーワードの区間を入力してキーワード区間以外の区間を抽出する。キーワードが１つ抽出された場合ではキーワードの始端と終端をtws、tweとすればキーワード以外の区間はフレーム時刻 ts〜tws-1とtwe+1〜teとなる。標準パタン１００４に存在するＨＭＭの状態全てを用い、キーワード区間以外の区間を対象にＨＭＭ状態全接続型音声認識手段５０１によって全てのＨＭＭの状態を組み合わせて最も照合スコアが高い状態系列を認識結果として出力する。
【０１１１】
キーワードスポッティング結果とＨＭＭ状態全接続型音声認識の結果に基づく教師なし話者適応化手段５０３は、キーワードのラベル系列から得られるＨＭＭの状態系列とＨＭＭ状態全接続型音声認識の結果のＨＭＭ状態系列を標準パタンのパラメータ更新時に用いる、学習データに対応したＨＭＭ状態系列としてパラメータの更新を行う。このときパラメータの更新は例えば実施の形態１で述べた話者適応方式を用いる。
【０１１２】
次に本装置を使用して教師なし話者適応化によって話者適応標準パタンを生成する過程を具体的に説明する。図１１はこの発明の実施の形態５による教師なし話者適応化方法を示すフローチャートである。
【０１１３】
使用話者の音声を入力して、その音声に対して音声特徴量抽出処理を施し音声特徴量を抽出する（ＳＴ５１、ＳＴ５２）。
【０１１４】
キーワードスポッティング手段１０１は、認識辞書１００４に格納されているキーワードの認識ユニットのラベル表記にしたがって標準パタンを連結しキーワード標準パタンを生成し（ＳＴ５３）、キーワードスポッティングを行いキーワードとキーワードの区間を出力する（ＳＴ５４）。
【０１１５】
ＨＭＭ状態全接続型音声認識手段５０１は、標準パタン１００４内のＨＭＭの状態全てを用い、キーワード区間以外の区間に対して全ての状態の組み合わせにおいて最も照合スコアが高い組合わせを認識結果とする（ＳＴ５５）。
【０１１６】
キーワードスポッティング結果とＨＭＭ全接続型音声認識の結果に基づく教師なし話者適応化手段５０３は、キーワード区間はキーワードスポッティング結果であるキーワードの認識ユニットのラベル系列から得られるＨＭＭの状態系列、キーワード区間以外はＨＭＭ状態全接続型音声認識の結果のＨＭＭの状態系列を学習時に用いる、学習データに対応したＨＭＭ状態系列とし、音声特徴量を用いて教師なし話者適応を行い、標準パタンの更新を行って話者適応標準パタンを出力する（ＳＴ５６）。
【０１１７】
以上に述べたように、実施の形態５によれば、キーワードスポッティング結果に基づきキーワード区間はキーワードのラベルを、またキーワード区間以外はＨＭＭ状態全接続型音声認識結果を状態系列を標準パタンのパラメータ更新に用いる教師なし話者適応化であるので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンのパラメータの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１１８】
実施の形態６．
本実施の形態の構成は、実施の形態１の図１と同様である。本発明の特徴的な部分については、キーワードスポッティング手段１０１は、複数の候補のキーワードを出力し、キーワードスポッティング結果に基づく教師なし話者適応化手段１０３は、複数の候補のキーワードについて各々教師なし話者適応標準パタンを作成し、複数の教師なし話者適応標準パタンを合成して１つの教師なし話者適応標準パタンを出力することである。
【０１１９】
なお、本実施の形態の話者適応化装置をソフトウェアのみで構成する場合、音声特徴量抽出手段１００２と同様の処理を実現する音声特徴量抽出手順と、キーワードスポッティング手段１０１と同様の処理を実現するキーワードスポッティング手順と、キーワードスポッティング結果に基づく教師なし話者適応化手段１０３と同様の処理を実現するキーワードスポッティング結果に基づく教師なし話者適応化手順とから構成された話者適応化プログラムを記録した記録媒体を用意する必要がある。
【０１２０】
次に動作について説明する。キーワードスポッティング手段１０１は、認識辞書１００４で予め設定されているキーワードの抽出を行うが、照合スコアが高い順に複数の候補のキーワード[KW(rkw(1)), KW(rkw(2)), ..., KW(rkw(N))]（rkw(n)はn番目に抽出されたキーワード番号、Ｎは抽出されたキーワード総数）とそれぞれの区間[(tws(1),twe(1)),  (tws(2),twe(2)), ..., (tws(N),twe(N))]を出力する。複数のキーワードは区間が重なっている場合でも良い。
【０１２１】
キーワードスポッティング結果に基づく教師なし話者適応化手段１０３は、Ｎ個のそれぞれについてキーワードのラベル系列を学習ラベルとしてキーワード区間の音声データを学習データとして教師なし話者適応化を行い、Ｎ個の教師なし話者適応標準パタン[Λa(1), Λa(2), ..., Λa(N)]を作成する。そして、このＮ個の教師なし話者適応化標準パタンを合成して１つの教師なし話者適応化標準パタンとして出力する。このときパラメータの合成方法は線形なものでも非線形なものでも良い。例えば標準パタンが連続混合分布型ＨＭＭである場合は、数式３によってガウス分布の平均ベクトルと分散を計算する。数式３においてμqa、Cqaはそれぞれガウス分布ｑの平均ベクトルおよび共分散行列である。μ’qa(n)、C’qa(n)はｎ番目のキーワードに基づいて教師なし話者適応を行って得た平均ベクトルと共分散行列である。α(n)はｎ番目の教師なし話者適応標準パタンに対する重み係数であり、照合スコアが高いほど大きい係数である。
【０１２２】
【数３】
0003946912.tif 000004
【０１２３】
以上の説明においては、キーワード区間を用いた教師なし話者適応を説明したが、キーワード区間以外に対して実施の形態２〜５のように音韻タイプライタ等によって認識結果を抽出した候補によって教師なし話者適応を行っても実現可能である。
【０１２４】
次に本装置を使用して教師なし話者適応化によって話者適応標準パタンを生成する過程を具体的に説明する。図１２はこの発明の実施の形態６による教師なし話者適応化方法を示すフローチャートである。
【０１２５】
使用話者の音声を入力して、その音声に対して音声特徴量抽出処理を施し音声特徴量を抽出する（ＳＴ６１、ＳＴ６２）。
【０１２６】
キーワードスポッティング手段１０１は、認識辞書１００４に格納されているキーワードの発音表記から変換して得られる認識ユニットラベル表記にしたがって標準パタン８０５を連結しキーワード標準パタンを生成し（ＳＴ６３）、キーワードスポッティングを行い複数のキーワード抽出し、それぞれのキーワードの区間を出力する（ＳＴ６４）。
【０１２７】
キーワードスポッティング結果に基づく教師なし話者適応化手段１０３は、複数のキーワードの候補の区間の音声を学習データとし、キーワードのラベルを学習ラベルとして複数のキーワードそれぞれについて教師なし話者適応化を行い複数の話者適応標準パタンを出力する（ＳＴ６５）。さらに複数の教師なし話者適応標準パタンのパラメータを合成して１つの教師なし話者適応標準パタンを出力する（ＳＴ６６）。
【０１２８】
以上に述べたように、実施の形態６によれば、複数のキーワードを抽出し、抽出されたキーワードを用いて複数の教師なし話者適応標準パタンを生成し、さらに複数の教師なし話者適応標準パタンのパラメータを合成することで１つの教師なし話者適応標準パタンを得る教師なし話者適応化であるので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンのパラメータの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１２９】
実施の形態７．
本実施の形態の構成は、実施の形態１の図１と同様である。本発明の特徴的な部分については、キーワードスポッティング手段１０１は、複数の候補のキーワードを出力し、キーワードスポッティング結果に基づく教師なし話者適応化手段１０３は、複数のキーワードの候補毎に学習データのパラメータ更新への寄与度を定めて教師なし話者適応化を行い、教師なし話者適応標準パタンを出力することである。
【０１３０】
なお、本実施の形態の話者適応化装置をソフトウェアのみで構成する場合、音声特徴量抽出手段１００２と同様の処理を実現する音声特徴量抽出手順と、キーワードスポッティング手段１０１と同様の処理を実現するキーワードスポッティング手順と、キーワードスポッティング結果に基づく教師なし話者適応化手段１０３と同様の処理を実現するキーワードスポッティング結果に基づく教師なし話者適応化手順とから構成された話者適応化プログラムを記録した記録媒体を用意する必要がある。
【０１３１】
次に動作について説明する。キーワードスポッティング手段１０１は、認識辞書１００４で予め設定されているキーワードの抽出を行うが、照合スコアが高い順に複数の候補のキーワード[KW(rkw(1)), KW(rkw(2)), ..., KW(rkw(N))]（rkw(n)はn番目に抽出されたキーワード番号、Ｎは抽出されたキーワード総数）とそれぞれの区間[(tws(1),twe(1)),  (tws(2),twe(2)), ..., (tws(N),twe(N))]を出力する。複数のキーワードは区間が重なっている場合でも良い。
【０１３２】
キーワードスポッティング結果に基づく教師なし話者適応化手段１０３は、Ｎ個のキーワードについて、適応学習時のパラメータ更新の寄与度を計算する。寄与度は、例えば照合スコアによってフレーム毎に決定する。Ｎ個のキーワードの照合スコアが[S1, S2, ..., SN]であるとすれば、n番目のキーワードが抽出された区間tws(n)〜twe(n)に対するフレームの寄与度gn(t)を数式４によって計算する。
【０１３３】
数式４においてΩtは時刻tにおいて候補が存在するキーワード番号の集合である。このようにして計算した寄与度を例えば標準パタンが連続混合分布型ＨＭＭである場合は、ガウス分布の平均ベクトルμaqと共分散行列Caqは数式５によってパラメータの更新を行う。以上はキーワード区間を用いた教師なし話者適応を説明したが、キーワード区間以外に対して実施の形態２乃至５のように音韻タイプライタ等によって認識結果を抽出した候補によって教師なし話者適応を行っても良い。
【０１３４】
【数４】
0003946912.tif 000005
【０１３５】
【数５】
0003946912.tif 000006
【０１３６】
次に本装置を使用して教師なし話者適応化によって話者適応標準パタンを生成する過程を具体的に説明する。図１３はこの発明の実施の形態７による教師なし話者適応化方法を示すフローチャートである。
【０１３７】
使用話者の音声を入力して、その音声に対して音声特徴量抽出処理を施し音声特徴量を抽出する（ＳＴ７１、ＳＴ７２）。
【０１３８】
キーワードスポッティング手段１０１は、認識辞書１００４に格納されているキーワードの発音表記から変換して得られる認識ユニットラベル表記にしたがって標準パタン１００５を連結しキーワード標準パタンを生成し（ＳＴ７３）、キーワードスポッティングを行い複数のキーワード抽出し、それぞれのキーワードの区間を出力する（ＳＴ７４）。
【０１３９】
キーワードスポッティン結果に基づく教師なし話者適応化手段１０３では、複数のキーワードの候補の区間の音声を学習データとし、キーワードのラベルを学習ラベルとして、パラメータの更新時にキーワードの候補毎に学習データのパラメータ更新への寄与度を定め、教師なし話者適応化を行い話者適応標準パタンを出力する（ＳＴ７５）。
【０１４０】
以上に述べたように、実施の形態７によれば、複数のキーワードを抽出し、抽出された複数のキーワードの候補毎に学習データのパラメータ更新への寄与度を定めて教師なし話者適応化を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンのパラメータの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１４１】
実施の形態８．
図１４はこの発明の実施の形態８による教師なし話者適応化装置を示す構成図である。図１４において実施の形態１の説明図である図１と同一の機能ブロックは同一の記号を付し説明を省略する。本発明の特徴的な部分は、先行する発声によって更新した教師なし話者適応標準パタン１００８を標準パタン１００５へ代入し、引き続く発声に対して教師なし話者適応化を行うことを特徴としたことである。
【０１４２】
次に図１４を参照して動作について説明する。キーワードスポッティング結果に基づく教師なし話者適応化手段１０３は、使用話者の最初の発声 [ot1, ot1+1, ..., ot1+T1-1] （T1は最初の発声のフレーム数）を用いて標準パタン１００５のパラメータを更新して教師なし話者適応標準パタン１００８を出力する。ここで、この最初の発声によって得られた教師なし話者適応標準パタンをΛa(1)とする。次にΛa(1)を標準パタン１００５とし、使用話者の２番目の発声 [ot2, ot2+1, ..., ot2+T2-1] （T2は最初の発声のフレーム数）を用いてキーワードスポッティング結果に基づく教師なし話者適応化処理によって更に標準パタン１００５を更新して教師なし話者適応標準パタンΛa(2)を計算する。このようにj番目の発声を用いた教師なし話者適応の更新前の標準パタンとして (j-1)番目の発声までに逐次的に更新したΛa(j-1)を用いる。
【０１４３】
なお、図１４の話者適応化装置をソフトウェアのみで構成する場合、音声特徴量抽出手段１００２と同様の処理を実現する音声特徴量抽出手順と、キーワードスポッティング手段１０１と同様の処理を実現するキーワードスポッティング手順と、キーワードスポッティング結果に基づく教師なし話者適応化手段１０３と同様の処理を実現するキーワードスポッティング結果に基づく教師なし話者適応化手順とから構成された話者適応化プログラムを記録した記録媒体を用意する必要がある。
【０１４４】
次に本装置を使用して教師なし話者適応化によって話者適応標準パタンを生成する過程を具体的に説明する。図１５はこの発明の実施の形態８による教師なし話者適応化方法を示すフローチャートである。
【０１４５】
使用話者の音声を入力して、その音声に対して音声特徴量抽出処理を施し音声特徴量を抽出する（ＳＴ８１、ＳＴ８２）。
【０１４６】
キーワードスポッティング手段１０１は、認識辞書１００４に格納されているキーワードの発音表記から変換して得られる認識ユニットラベル表記にしたがって標準パタン１００５を連結しキーワード標準パタンを生成し（ＳＴ８３）、キーワードスポッティングを行いキーワードとキーワードの区間を出力する（ＳＴ８４）。
【０１４７】
キーワードスポッティング結果に基づく教師なし話者適応化手段１０３は、キーワードスポッティング結果であるキーワードの認識ユニットラベル系列とキーワード区間の音声特徴量と標準パタンを用いて教師なし話者適応化を行い教師なし話者適応標準パタンを出力する（ＳＴ８５）。
【０１４８】
現時点での教師なし話者適応標準パタンの計算に用いた発声に続く発声がないならば終了し、次に続く発声があるならば現時点での教師なし話者適応標準パタンを標準パタンに代入し（ＳＴ８６、ＳＴ８７）てＳＴ８１へ戻り、次の発声を用いて同様の処理を繰り返す。
【０１４９】
以上に述べたように、実施の形態８によれば、先行する発声によって更新した教師なし話者適応標準パタンを標準パタンへ代入し、引き続く発声に対して教師なし話者適応化を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンのパラメータの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１５０】
実施の形態９．
図１８はこの発明の実施の形態９による音声認識装置を示す構成図である。図１８において図１等に示す教師なし話者適応化装置と同一の機能ブロックには同一の記号を付し説明を省略する。本発明の特徴的な部分は上記実施の形態１乃至８の教師なし話者適応化装置により更新された教師なし話者適応標準パタン１００８を使用して音声認識を行うことである。
【０１５１】
なお、図１８の音声認識装置をソフトウェアのみで構成する場合、音声特徴量抽出手段１００２と同様の処理を実現する音声特徴量抽出手順と、照合手段１００３と同様の処理を実現する照合手順とから構成された音声認識プログラムを記録した記録媒体を用意する必要がある。
【０１５２】
次に動作について説明する。認識辞書１００４によって設定した認識対象の単語[W(1),W(2), ..., W(wn)] の発音表記から認識ユニットラベルへ変換し、このラベルにしたがって教師なし話者適応標準パタンを連結し、認識対象単語の標準パタン[λaW(1), λaW(2) ,..., λaW(wn)]を作成する。この認識対象単語の標準パタンを用いて、音声特徴量抽出手段１００２からの出力である音声特徴量に対して照合を行い、音声認識結果１１０１を出力する。このとき、入力音声１００１は教師なし話者適応化に用いた発声と同一でも、それ以外の発声でも良い。
【０１５３】
音声認識結果１１０１は、入力音声１００１に対して認識対象単語標準パタンを用い、最も照合スコアの高い単語系列 [W(r(1)), W(r(2)), ..., W(r(m))] を出力する。ここで、r(i)は音声認識結果の単語系列のi番目の単語の単語番号を示す。またmは認識単語系列の単語数を示す。また照合手段１００３によって説明したがキーワードスポッティング手段で構成しても良い。ここでは標準パタンと音声特徴量との照合スコアで単語系列を抽出する方法を述べたが、さらに単語出現確率や単語と単語が接続する確率を考慮した照合スコアとしても良い。
【０１５４】
次に本装置を使用して音声認識を行う過程を具体的に説明する。図１６はこの発明の実施の形態９による音声認識方法を示すフローチャートである。
【０１５５】
使用話者の音声を入力して、その音声に対して音声特徴量抽出処理を施し音声特徴量を抽出する（ＳＴ９１、ＳＴ９２）。
【０１５６】
照合手段１００３は、認識辞書１００４に格納されている単語の発音表記から変換した単語の認識ユニットのラベル表記にしたがって教師なし話者適応標準パタンを連結して単語標準パタンを生成し（ＳＴ９３）、照合を行い音声認識結果出力する（ＳＴ９４）。
【０１５７】
以上に述べたように、実施の形態９によれば、キーワードスポッティング結果に基づきキーワード区間はキーワードのラベルに基づき教師なし話者適応化を行って得られた教師なし話者適応標準パタンを用いて音声認識を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンのパラメータの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１５８】
【発明の効果】
この発明の請求項１に係る教師なし話者適応化装置においては、適応学習データとして未知の発話内容の音声を使用する教師なし話者適応化装置であって、音声認識に用いる標準パタンを任意の話者に適応する話者適応標準パタンに更新する教師なし話者適応化装置において、話者の入力音声から音声特徴量を抽出する音声特徴量抽出手段と、音声特徴量抽出手段が抽出した音声特徴量と標準パタンとを照合することによりキーワード及びキーワードの区間を認識して抽出し出力するキーワードスポッティング手段と、キーワードの区間以外の区間については、全ての音声単位を組み合わせて最も照合スコアが高い系列を認識結果として出力する音韻タイプライタ型音声認識手段と、標準パタン、キーワードスポッティング手段が抽出したキーワード、キーワードとして抽出された区間の音声特徴量、及び音韻タイプライタ型音声認識手段の認識結果に基づいて、標準パタンを話者適応標準パタンへ更新する教師なし話者適応化手段とを備えている。そのため、キーワード区間はキーワードスポッティングの結果に基づいて、一方、キーワード区間以外は音韻タイプライタ型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１６０】
また、この発明の請求項２に係る教師なし話者適応化装置においては、音韻タイプライタ型音声認識手段の音声単位は、音素である。そのため、キーワード区間はキーワードスポッティングの結果に基づき、一方、キーワード区間以外は音素タイプライタ型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１６１】
また、この発明の請求項３に係る教師なし話者適応化装置においては、音韻タイプライタ型音声認識手段の音声単位は、音節である。そのため、キーワード区間はキーワードスポッティングの結果に基づき、一方、キーワード区間以外は音節タイプライタ型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１６２】
また、この発明の請求項４に係る教師なし話者適応化装置においては、音韻タイプライタ型音声認識手段の音声単位は、隠れマルコフモデルの１状態である。そのため、キーワード区間はキーワードスポッティングの結果に基づき、一方、キーワード区間以外は隠れマルコフモデル状態全接続型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１６３】
また、この発明の請求項５に係る教師なし話者適応化装置においては、キーワードスポッティング手段は、複数の認識結果の候補を出力し、教師なし話者適応化手段は、複数の候補について各々話者適応標準パタンを作成し、これらの話者適応標準パタンのパラメータを合成して１つの話者適応標準パタンを出力する。複数のキーワードを抽出し、抽出されたキーワードを用いて複数の教師なし話者適応標準パタンを生成し、さらに複数の教師なし話者適応標準パタンのパラメータを合成することで１つの教師なし話者適応標準パタンを得るので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１６４】
また、この発明の請求項６に係る教師なし話者適応化装置においては、キーワードスポッティング手段は、複数の認識結果の候補を出力し、教師なし話者適応化手段は、複数の候補について各々のキーワード区間の音声特徴量に対して標準パタンの更新時の寄与度を表す係数を計算し、係数に基づいて話者適応標準パタンを出力する。そのため、複数のキーワードを抽出し、抽出された複数のキーワードの候補毎に学習データの更新への寄与度を定めて教師なし話者適応化を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１６５】
また、この発明の請求項７に係る教師なし話者適応化装置においては、教師なし話者適応化手段は、入力音声により話者適応標準パタンを更新する際、以前の入力音声により更新された話者適応標準パタンを標準パタンとして使用する。先行する発声によって更新した教師なし話者適応標準パタンを標準パタンへ代入し、引き続く発声に対して教師なし話者適応化を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１６６】
また、この発明の請求項８に係る教師なし話者適応化装置においては、教師なし話者適応化手段は、標準パタンのパラメータを変更することにより、話者適応標準パタンに更新する。そのため、標準パタンのパラメータを適応学習して、話者適応標準パタンに更新こととなり、データの構成が容易となる。
【０１６７】
また、この発明の請求項９に係る音声認識装置においては、請求項１乃至９のいずれかに記載の教師なし話者適応化装置によって更新された話者適応標準パタンと、話者の入力音声から特徴量を抽出する音声特徴量抽出手段と、音声特徴量抽出手段が抽出した音声特徴量と話者適応標準パタンとを照合して認識結果を出力する照合手段とを備えている。そのため、キーワード区間はキーワードスポッティングの結果に基づき、教師なし話者適応化を行って得られた教師なし話者適応標準パタンを用いて音声認識を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１６９】
また、この発明の請求項１０に係る教師なし話者適応化方法においては、適応学習データとして未知の発話内容の音声を使用する教師なし話者適応化方法であって、音声認識に用いる標準パタンを任意の話者に適応する話者適応標準パタンに更新する教師なし話者適応化方法において、話者の入力音声から音声特徴量を抽出し、音声特徴量と標準パタンとからキーワードスポッティングして認識結果としてキーワードとキーワードの区間を抽出して出力し、キーワード区間以外の音声区間については、全ての音声単位を組み合わせて最も照合スコアが高い系列を認識結果として出力する音韻タイプライタを用いて認識し、標準パタン、キーワードスポッティングして抽出されたキーワード、キーワードとして抽出された区間の音声特徴量、音韻タイプライタの認識結果に基づいて、標準パタンを話者適応標準パタンへ更新する教師なし話者適応化を行う。そのため、キーワード区間はキーワードスポッティングの結果に基づき、一方、キーワード区間以外は音韻タイプライタ型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１７０】
また、この発明の請求項１１に係る教師なし話者適応化方法においては、音韻タイプライタによる音声認識の音声単位は、音素である。そのため、キーワード区間はキーワードスポッティングの結果に基づき、一方、キーワード区間以外は音素タイプライタ型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１７１】
また、この発明の請求項１２に係る教師なし話者適応化方法においては、音韻タイプライタによる音声認識の音声単位は、音節である。そのため、キーワード区間はキーワードスポッティングの結果に基づき、一方、キーワード区間以外は音節タイプライタ型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１７２】
また、この発明の請求項１３に係る教師なし話者適応化方法においては、音韻タイプライタによる音声認識の音声単位は、隠れマルコフモデルの１状態である。そのため、キーワード区間はキーワードスポッティングの結果に基づき、キーワード区間はキーワードに基づき、一方、キーワード区間以外は隠れマルコフモデル状態全接続型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１７３】
また、この発明の請求項１４に係る教師なし話者適応化方法においては、キーワードスポッティングによって複数の認識結果の候補を出力し、複数のキーワードスポッティング結果の候補について各々教師なし話者適応化によって複数の話者適応標準パタンを出力し、これらの話者適応標準パタンのパラメータを合成して１つの話者適応標準パタンを出力する。複数のキーワードを抽出し、抽出されたキーワードを用いて複数の教師なし話者適応標準パタンを生成し、さらに複数の教師なし話者適応標準パタンのパラメータを合成することで１つの教師なし話者適応標準パタンを得るので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１７４】
また、この発明の請求項１５に係る教師なし話者適応化方法においては、キーワードスポッティングによって複数の認識結果の候補を出力し、複数のキーワードスポッティング結果の候補について各々のキーワード区間の音声特徴量に対して標準パタンの更新時の寄与度を表す係数を計算し、係数に基づいてパラメータ更新を行う。そのため、複数のキーワードを抽出し、抽出された複数のキーワードの候補毎に学習データの更新への寄与度を定めて教師なし話者適応化を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１７５】
また、この発明の請求項１６に係る教師なし話者適応化方法においては、教師なし話者適応化は、入力音声により話者適応標準パタンを更新する際、以前の入力音声により更新された話者適応標準パタンを標準パタンとして使用する。先行する発声によって更新した教師なし話者適応標準パタンを標準パタンへ代入し、引き続く発声に対して教師なし話者適応化を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１７６】
また、この発明の請求項１７に係る教師なし話者適応化方法においては、教師なし話者適応化は、標準パタンのパラメータを変更することにより、話者適応標準パタンに更新する。そのため、標準パタンのパラメータを適応学習して、話者適応標準パタンに更新こととなり、データの構成が容易となる。
【０１７７】
また、この発明の請求項１８に係る音声認識方法においては、請求項１１乃至１９のいずれかに記載の話者適応化方法によって更新された話者適応標準パタンと、抽出された音声特徴量とを照合して認識結果を出力する。そのため、キーワード区間はキーワードスポッティングの結果に基づき、教師なし話者適応化を行って得られた教師なし話者適応標準パタンを用いて音声認識を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１７９】
また、この発明の請求項１９に係る教師なし話者適応化プログラムを記録した記録媒体においては、適応学習データとして未知の発話内容の音声を使用する教師なし話者適応化プログラムであって、音声認識に用いる標準パタンを任意の話者に適応する話者適応標準パタンに更新する教師なし話者適応化プログラムを記録した記録媒体において、話者の入力音声から音声特徴量を抽出する音声特徴量抽出手順と、音声特徴量抽出手順が抽出した音声特徴量と標準パタンとを照合することによりキーワードとキーワードの区間を認識して抽出し出力するキーワードスポッティング手順と、キーワード区間以外の音声区間については、全ての音声単位を組み合わせて最も照合スコアが高い系列を認識結果として出力する音韻タイプライタ型音声認識手順と、標準パタン、キーワードスポッティング手順が抽出したキーワード、キーワードとして抽出された区間の音声特徴量、及び音韻タイプライタ型音声認識手順の認識結果に基づいて、標準パタンを話者適応標準パタンへ更新する教師なし話者適応化手順とを備えている。そのため、キーワード区間はキーワードスポッティングの結果に基づき、一方、キーワード区間以外は音韻タイプライタ型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１８０】
また、この発明の請求項２０に係る教師なし話者適応化プログラムを記録した記録媒体においては、音韻タイプライタ型音声認識手順の音声単位は、音素である。そのため、キーワード区間はキーワードスポッティングの結果に基づき、一方、キーワード区間以外は音素タイプライタ型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１８１】
また、この発明の請求項２１に係る教師なし話者適応化プログラムを記録した記録媒体においては、音韻タイプライタ型音声認識手順の音声単位は、音節である。そのため、キーワード区間はキーワードスポッティングの結果に基づき、一方、キーワード区間以外は音節タイプライタ型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１８２】
また、この発明の請求項２２に係る教師なし話者適応化プログラムを記録した記録媒体においては、音韻タイプライタ型音声認識手順の音声単位は、隠れマルコフモデルの１状態である。そのため、キーワード区間はキーワードスポッティングの結果に基づき、一方、キーワード区間以外は隠れマルコフモデル状態全接続型音声認識結果に基づいて、標準パタンの更新をするので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１８３】
また、この発明の請求項２３に係る教師なし話者適応化プログラムを記録した記録媒体においては、キーワードスポッティング手順は、複数の認識結果の候補を出力し、教師なし話者適応化手順は、複数の候補について各々話者適応標準パタンを作成し、これらの話者適応標準パタンのパラメータを合成して１つの話者適応標準パタンを出力する。複数のキーワードを抽出し、抽出されたキーワードを用いて複数の教師なし話者適応標準パタンを生成し、さらに複数の教師なし話者適応標準パタンのパラメータを合成することで１つの教師なし話者適応標準パタンを得るので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１８４】
また、この発明の請求項２４に係る教師なし話者適応化プログラムを記録した記録媒体においては、キーワードスポッティング手順は、複数の認識結果の候補を出力し、教師なし話者適応化手順は、複数の候補について各々のキーワード区間の音声特徴量に対して標準パタンの更新時の寄与度を表す係数を計算し、係数に基づいて話者適応標準パタンを出力する。そのため、複数のキーワードを抽出し、抽出された複数のキーワードの候補毎に学習データの更新への寄与度を定めて教師なし話者適応化を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１８５】
また、この発明の請求項２５に係る教師なし話者適応化プログラムを記録した記録媒体においては、教師なし話者適応化手順は、入力音声により話者適応標準パタンを更新する際、以前の入力音声により更新された話者適応標準パタンを標準パタンとして使用する。先行する発声によって更新した教師なし話者適応標準パタンを標準パタンへ代入し、引き続く発声に対して教師なし話者適応化を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【０１８６】
また、この発明の請求項２６に係る教師なし話者適応化プログラムを記録した記録媒体においては、教師なし話者適応化手順は、標準パタンのパラメータを変更することにより、話者適応標準パタンに更新する。そのため、標準パタンのパラメータを適応学習して、話者適応標準パタンに更新こととなり、データの構成が容易となる。
【０１８７】
また、この発明の請求項２７に係る音声認識プログラムを記録した記録媒体においては、請求項２１乃至２９のいずれかに記載の教師なし話者適応化プログラムによって更新された話者適応標準パタンと話者の入力音声とから特徴量を抽出する音声特徴量抽出手順と、音声特徴量抽出手順が抽出した音声特徴量と話者適応標準パタンとを照合して認識結果を出力する照合手順とを備えている。そのため、キーワード区間はキーワードスポッティングの結果に基づき、教師なし話者適応化を行って得られた教師なし話者適応標準パタンを用いて音声認識を行うので、未登録単語を含む音声や発声変形の大きな音声であることによる話者適応用認識結果の誤りによる標準パタンの誤った推定を防ぎ、更新された話者適応標準パタンによる音声認識率が向上する効果を奏する。
【図面の簡単な説明】
【図１】  この発明の実施の形態１による教師なし話者適応化装置を示す構成図である。
【図２】  キーワードスポッティングの概念図である。
【図３】  この発明の実施の形態１による教師なし話者適応化方法を示すフローチャートである。
【図４】  この発明の実施の形態２による教師なし話者適応化装置を示す構成図である。
【図５】  この発明の実施の形態２による教師なし話者適応化方法を示すフローチャートである。
【図６】  この発明の実施の形態３による教師なし話者適応化装置を示す構成図である。
【図７】  この発明の実施の形態３による教師なし話者適応化方法を示すフローチャートである。
【図８】  この発明の実施の形態４による教師なし話者適応化装置を示す構成図である。
【図９】  この発明の実施の形態４による教師なし話者適応化方法を示すフローチャートである。
【図１０】  この発明の実施の形態５による教師なし話者適応化装置を示す構成図である。
【図１１】  この発明の実施の形態５による教師なし話者適応化方法を示すフローチャートである。
【図１２】  この発明の実施の形態６による教師なし話者適応化方法を示すフローチャートである。
【図１３】  この発明の実施の形態７による教師なし話者適応化方法を示すフローチャートである。
【図１４】  この発明の実施の形態８による教師なし話者適応化装置を示す構成図である。
【図１５】  この発明の実施の形態８による教師なし話者適応化方法を示すフローチャートである。
【図１６】  この発明の実施の形態９による音声認識方法を示すフローチャートである。
【図１７】  従来の教師なし話者適応化装置を示す構成図である。
【図１８】  教師なし話者適応化装置を用いた音声認識装置を示す構成図である。
【符号の説明】
１０１  キーワードスポッティング手段、１０３  キーワードスポッティング結果に基づく教師なし話者適応化手段（教師なし話者適応化手段）、２０３  キーワードスポッティング結果と音韻タイプライタ型音声認識の結果に基づく教師なし話者適応化手段（教師なし話者適応化手段）、３０３  キーワードスポッティング結果と音素タイプライタ型音声認識の結果に基づく教師なし話者適応化手段（教師なし話者適応化手段）、４０３  キーワードスポッティング結果と音節タイプライタ型音声認識の結果に基づく教師なし話者適応化手段（教師なし話者適応化手段）、５０３  キーワードスポッティング結果とＨＭＭ全接続型音声認識の結果に基づく教師なし話者適応化手段（教師なし話者適応化手段）、２０１音韻タイプライタ型音声認識手段、３０１  音素タイプライタ型音声認識手段（音韻タイプライタ型音声認識手段）、４０１  音節タイプライタ型音声認識手段（音韻タイプライタ型音声認識手段）、５０１  ＨＭＭ状態全接続型音声認識手段（音韻タイプライタ型音声認識手段）、１００２  音声特徴量抽出手段、１００３  照合手段、１００５  標準パタン、１００８  教師なし話者適応標準パタン（教師なし話者適応標準パタン）。
【図１】
0003946912.tif 000007
【図２】
0003946912.tif 000008
【図３】
0003946912.tif 000009
【図４】
0003946912.tif 000010
【図５】
0003946912.tif 000011
【図６】
0003946912.tif 000012
【図７】
0003946912.tif 000013
【図８】
0003946912.tif 000014
【図９】
0003946912.tif 000015
【図１０】
0003946912.tif 000016
【図１１】
0003946912.tif 000017
【図１２】
0003946912.tif 000018
【図１３】
0003946912.tif 000019
【図１４】
0003946912.tif 000020
【図１５】
0003946912.tif 000021
【図１６】
0003946912.tif 000022
【図１７】
0003946912.tif 000023
【図１８】
0003946912.tif 000024