(57)【要約】【課題】  音声を認識する方法を提供する。【解決手段】  音声を認識する方法は、ユーザの音声入力（ＳＩ）を受信するステップと、受信された音声入力（ＳＩ）のために並べられた仮説（ＯＨ）群を決定する際に、並べられた仮説（ＯＨ）群のそれぞれの仮説に対して、発音の少なくとも一種類又は一変形を表すタグ情報（ＴＩ）を含めた並べられた仮説群を決定するステップと、タグ情報（ＴＩ）上で動作するタグ言語モデル（ＬＭ２）を使用するステップと、タグ言語モデル（ＬＭ２）を用いて仮説群を並び替えるステップと、並び替えた仮説（ＲＯＨ）群を出力して最良仮説（ＢＨ）を選択するステップとを有している。【選択図】  図２
2004341520.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの音声入力を受信する受信ステップと、
前記受信ステップによって受信された前記音声入力のために並べられた仮説群を決定する際に、前記並べられた仮説群のそれぞれの仮説に対して、発音の少なくとも一種類又は一変形を表すタグ情報を含めた前記並べられた仮説群を決定する決定ステップと、
前記タグ情報上で動作するタグ言語モデルを使用する使用ステップと、
前記タグ言語モデルを用いて前記仮説群を並び替える並び替えステップと、
前記並び替えた仮説群を出力して、最良の仮説を選択する選択ステップとを有する音声認識方法。
【請求項２】
前記タグ情報は、主に単語を含む見出しの少なくとも一部の見出しのためのタグを含む第１の言語モデルを用いて生成され、
前記タグは、対応する見出し又は単語の発音の少なくとも一種類又は一変形を表すことを特徴とする請求項１に記載の音声認識方法。
【請求項３】
前記タグ情報は、特に単語を含む見出しの少なくとも一部のタグを含む辞書を用いて生成され、
前記タグは、対応する見出し又は単語の発音の少なくとも一種類又は一変形を表すことを特徴とする請求項１乃至２のいずれか１項に記載の音声認識方法。
【請求項４】
前記タグ情報は、少なくとも一部の見出し語に対するタグを含む単語タグのデータベースを用いて生成され、
前記タグは、対応する見出し又は単語の発音の少なくとも一種類又は一変形を表すことを特徴とする請求項１乃至３のいずれか１項に記載の音声認識方法。
【請求項５】
前記タグ言語モデルは、前記タグ情報に加えて単語を用いて動作することを特徴とする請求項１乃至４のいずれか１項に記載の音声認識方法。
【請求項６】
前記タグ言語モデルは、前記受信された音声入力に各々与えられた仮説の前記タグ情報の全てに依存することを特徴とする請求項１乃至５のいずれか１項に記載の音声認識方法。
【請求項７】
前記タグ言語モデルのｎ−グラムの位数は、トライグラムの標準言語モデルの位数より高いことを特徴とする請求項１乃至７のいずれか１項に記載の音声認識方法。
【請求項８】
ユーザの音声入力を受信する受信手段と、
前記受信手段によって受信された前記音声入力のために並べられた仮説群を決定する際に、前記並べられた仮説群のそれぞれの仮説に対して、発音の少なくとも一種類又は一変形を表すタグ情報を含めた前記並べられた仮説群を決定する決定手段と、
前記タグ情報上で動作するタグ言語モデルを使用する使用手段と、
前記タグ言語モデルを用いて前記仮説群を並び替える並び替え手段と、
前記並び替えた仮説群を出力して、最良の仮説を選択する選択手段とを備える音声処理システム。
【請求項９】
ユーザの音声入力を受信する受信ステップと、
前記受信ステップによって受信された前記音声入力のために並べられた仮説群を決定する際に、前記並べられた仮説群のそれぞれの仮説に対して、発音の少なくとも一種類又は一変形を表すタグ情報を含めた前記並べられた仮説群を決定する決定ステップと、
前記タグ情報上で動作するタグ言語モデルを使用する使用ステップと、
前記タグ言語モデルを用いて前記仮説群を並び替える並び替えステップと、
前記並び替えた仮説群を出力して、最良の仮説を選択する選択ステップとを含む音声認識処理方法を実行又は実現するように構成されたコンピュータが読み取り可能なプログラム。
【請求項１０】
ユーザの音声入力を受信する受信ステップと、
前記受信ステップによって受信された前記音声入力のために並べられた仮説群を決定する際に、前記並べられた仮説群のそれぞれの仮説に対して、発音の少なくとも一種類又は一変形を表すタグ情報を含めた前記並べられた仮説群を決定する決定ステップと、
前記タグ情報上で動作するタグ言語モデルを使用する使用ステップと、
前記タグ言語モデルを用いて前記仮説群を並び替える並び替えステップと、
前記並び替えた仮説群を出力して、最良の仮説を選択する選択ステップとを含む音声認識処理方法を実行又は実現するように構成されたコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を認識する方法に関する。
【背景技術】
【０００２】
音声認識システムは、一般的に、大規模の音声データベース上でトレーニングされる。これらの音声データベースは、音声認識システムを用いる人々の典型的な発音形式を一般的に網羅している。音声認識システム、例えばバイエルン地方のアクセント（南ドイツ語に特有のアクセント）を持つ人々の音声データのように、ある方言あるいはアクセントを網羅する音声データベースで、トレーニングされる。したがって、バイエルンのアクセントで話す音声認識システムのユーザの認識率は、高くなる。しかしながら、異なるアクセントを持つ、例えばドイツの北部のユーザがこの音声認識システムを使用すると、認識率は低くなる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
母語話者の音声データ上で単純にトレーニングされた音声認識システムを、非母語話者が用いるときに同様な状態が生じ、非母語話者の場合には、認識率が低下する。このような状態は、音声認識システムが、例えば、ときに観光客が用いる公開情報システムである場合に頻繁に生じる。
【０００４】
一般的に、従来の音声認識システムでは、非母話者が音声認識システムを頻繁に使用すると、その非母話者が典型的におかす発音ミスのための特殊モデルが導入されてしまう。しかし、これらの特殊モデルは、音声認識システムを更に複雑化し、語彙を混乱させるので、平均的な母語話者にとっては、性能が落ちることになる。他方で、もちろん、非母語話者に対する性能は、改善されることになる。
【０００５】
前述の状態に「適した」モデルとは、２つの統計モデルを組み合わせることである。すなわち、１つは母語話者とする音声、もう１つは母語話者でない音声である。しかしながら、これは実現困難な場合が多く、なぜならば、それほど頻繁に用いられないモード（非母語話者）の場合、これらのモデルを確実に推測するための十分なデータが入手できないからである。
【０００６】
本発明の目的は、認識率を改善する、音声を認識する方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、本発明は、ユーザの音声入力を受信する受信ステップと、受信ステップによって受信された音声入力のために並べられた仮説群を決定する際に、並べられた仮説群のそれぞれの仮説に対して、発音の少なくとも一種類又は一変形を表すタグ情報を含めた並べられた仮説群を決定する決定ステップと、タグ情報上で動作するタグ言語モデルを使用する使用ステップと、タグ言語モデルを用いて仮説群を並び替える並び替えステップと、並び替えた仮説群を出力して、最良の仮説を選択する選択ステップとを有する音声認識方法を提供する。
【０００８】
更に、本発明は、ユーザの音声入力を受信する受信手段と、受信手段によって受信された音声入力のために並べられた仮説群を決定する際に、並べられた仮説群のそれぞれの仮説に対して、発音の少なくとも一種類又は一変形を表すタグ情報を含めた並べられた仮説群を決定する決定手段と、タグ情報上で動作するタグ言語モデルを使用する使用手段と、タグ言語モデルを用いて仮説群を並び替える並び替え手段と、並び替えた仮説群を出力して、最良の仮説を選択する選択手段とを備える音声処理システムを提供する。
【０００９】
更に、本発明に係るコンピュータが読み取り可能なプログラムは、ユーザの音声入力を受信する受信ステップと、受信ステップによって受信された音声入力のために並べられた仮説群を決定する際に、並べられた仮説群のそれぞれの仮説に対して、発音の少なくとも一種類又は一変形を表すタグ情報を含めた並べられた仮説群を決定する決定ステップと、タグ情報上で動作するタグ言語モデルを使用する使用ステップと、タグ言語モデルを用いて仮説群を並び替える並び替えステップと、並び替えた仮説群を出力して、最良の仮説を選択する選択ステップとを含む音声認識処理方法を実行又は実現するように構成されている。
【００１０】
本発明に係る記録媒体は、ユーザの音声入力を受信する受信ステップと、受信ステップによって受信された音声入力のために並べられた仮説群を決定する際に、並べられた仮説群のそれぞれの仮説に対して、発音の少なくとも一種類又は一変形を表すタグ情報を含めた並べられた仮説群を決定する決定ステップと、タグ情報上で動作するタグ言語モデルを使用する使用ステップと、タグ言語モデルを用いて仮説群を並び替える並び替えステップと、並び替えた仮説群を出力して、最良の仮説を選択する選択ステップとを含む音声認識処理方法を実行又は実現するように構成されたコンピュータが読み取り可能なプログラムが記録されている。
【００１１】
本発明に係る音声認識方法は、ユーザの音声入力を受信するステップと、受信された音声入力のために並べられた仮説群を決定する際に、並べられた仮説群のそれぞれの仮説に対して、発音の少なくとも一種類又は一変形を表すタグ情報を含めた並べられた仮説群を決定するステップと、タグ情報上で動作するタグ言語モデルを使用するステップと、タグ言語モデルを用いて仮説群を並び替えるステップと、並び替えた仮説群を出力して、最良の仮説を選択するステップとを含む。
【００１２】
好ましくは、本発明の実施の形態によれば、タグ情報は、見出し語の少なくとも一部のタグを含んでおり、特に単語において、タグが各々の見出し語又は単語の発音の少なくとも一種類又は一変形を表すように選択されている第１次言語モデルを用いて生成される。
【００１３】
また、本発明の更なる実施の形態では、タグ情報は、辞書を用いて生成され、それがその見出し語の少なくとも一部のタグを含んでおり、特に単語において、タグが各々の見出し語又は単語の発音の少なくとも一種類又は一変形を表すように選択されている。辞書は、好ましくは、修正された発音の辞書である。この実施例を用いると、発明の方法を従来のシステムに特に簡単に統合できる。なぜならば、標準言語モデルを適用する通常の方式の後に、タグを含めてタグ言語モデルを適用するように、辞書を修正するだけで済むからである。
【００１４】
タグ情報は、単語の見出し語の少なくとも一部のタグを含んでおり、タグが各々の見出し語又は単語の発音の少なくとも一種類又は一変形を表すように選択されている単語タグデータベースを用いて生成される。
【００１５】
好ましくは、タグ言語モデルが、タグ情報に加えて、単語レベルで動作する。
【００１６】
更に、タグ言語モデルが、受信された音声入力の各々与えられた仮説のタグ情報の全てに依存するように選択される。すなわち、タグ言語モデルは、原因関係とならないように選択される。
【００１７】
また、好ましくは、タグ言語モデルのｎ−グラムの位数（ｎ）は、特に、トライグラムの標準言語モデルの位数より高い。
【００１８】
本発明の好適な実施の形態による音声処理システムは、音声を認識する方法を発明の方法又はそのステップあるいはその両方を実施又は実行できることを特徴とする。
【００１９】
本発明の好適な実施の形態によるコンピュータプログラム製品には、コンピュータやデジタル信号処理手段などで実行されるときに、音声を認識する発明の方法又はそのステップあるいはその両方を実施又は実行あるいはその両方を行うように適応されている、コンピュータプログラム手段が搭載されている。
【００２０】
本発明の好適な実施の形態によるコンピュータ読取可能な記憶媒体には、発明のコンピュータプログラム製品が搭載されている。
【発明を実施するための最良の形態】
【００２１】
図１で、音声認識システムのユーザ（以下、話者とも称することがある）の音声入力ＳＩは、第１次言語モデル（first language model）ＬＭ１を使用する音声認識部ＳＲによって処理される。
【００２２】
本発明の第１の実施例では、この第１次言語モデルＬＭ１は、タグ付きのトライグラム言語モデル（tagged trigram language model）であり、これは、その見出し語（entry）の一部又は全てに対するタグを含んでおり、それらは特定の単語である。タグは、各々の見出し語又は単語のための発音の種類又は変形について記している。音声認識システムが、ある方言又はアクセントなしで話す人によって主として用いられる場合、全ての単語がタグを受け取るわけでなく、僅かの単語だけであり、異なる発音が、次に述べるように認識率を改善するためにモデル化される。
【００２３】
本発明の第２の実施例では、第１次言語モデルＬＭ１は、標準のトライグラム言語モデル（standard trigram language model）となる。更に、この実施では、タグ付き単語を有する単語タグデータベースが存在する。再び、タグは、次に説明するように、認識率を改善すると思われる、各々の見出し語又は単語のための発音の種類又は変形を記している。
【００２４】
前述の本発明の実施例のいずれを選んでも、音声認識部ＳＲの出力は、並べられた仮説群（set of ordered hypothese：ＯＨ）になる。各々仮説には、タグ付きのトライグラム言語モデルを用いる、すなわち第１の実施例を選択して生成された、あるいは単語タグデータベースと組み合わせた標準のトライグラム言語モデルを用いる、すなわち第２の実施例を選択して生成されたタグ情報が存在する。タグ情報は、単語毎に異なる可能性のある発音を示す。すなわち、単語は幾つかの可能性のある発音を有するので、幾つかの異なる仮説が存在し、各々の仮説が各々の単語に対して異なるタグを有することになる。
【００２５】
並べられた仮説（ＯＨ）群は、第１の最良の仮説Ｈ−１と、２番目に最良の仮説Ｈ−２からＮ番目に最良の仮説Ｈ−Ｎとからなる。第１の最良の仮説Ｈ−１は、タグを考慮せずに、すなわち異なる発音形式を考慮せずに、認識された音声入力ＳＩに関して最も可能性のある認識結果である（図２を参照）。２番目に最良の仮説Ｈ−２は、２番目に可能性のある認識結果であり、これ以降、３番目、４番目なども同様である。
【００２６】
並べられた仮説ＯＨは、次に、並び替えステップＳ４において、前述のタグ上で動作するタグ言語モデル（tag language model）ＬＭ２を用いて並び替えられる。並び替えについて次に説明する。並び替えステップＳ４の出力は、並び替えた仮説ＲＯＨ群である。次の選択ステップＳ５において、並び替えた仮説ＲＯＨの最良の仮説ＢＨが、出力される。すなわち、音声入力ＳＩの認識結果となるように選択される。最良の仮説ＢＨは、異なる単語の異なる発音形式を考慮した最良の認識結果である。
【００２７】
次に、ある単語の異なる発音形式をモデル化するために、第２の言語モデルとも称するタグ言語モデルＬＭ２の使用について、一例をあげて説明する。
【００２８】
音声認識部ＳＲは、次に示す第１の最良の仮説Ｈ−１と２番目に最良の仮説Ｈ−２と３番目に最良の仮説Ｈ−３とを出力したとする。
【００２９】
H-1: “Der[GER] Hund[GER] bellt[GER]”
H-2: “Der[GER] und[GER] bellt[GER]”
H-3: “Der[FRA] Hund[FRA] bellt[FRA]”
これらの仮説は、古典的なトライグラム言語モデル化技術、すなわち第１次言語モデルＬＭ１を用いて生成され、次に示す確率が、３つの仮説Ｈ−１、Ｈ−２、Ｈ−３を得るために計算された。
【００３０】
P(Der|und bellt)
P(Der|Hund bellt)
これは、タグが第１次言語モデルＬＭ１を使用することを考慮していないことを意味する。この実施例では、ドイツ語の発音（タグ[GER]）とフランス語の発音（タグ[FRA]）のために異なるタグが存在する。ここでは、単語「Hund」については、「Hund」のために２つの発音が存在するので、これらの２つの異なる発音をモデル化する２つの仮説がある。１つはドイツ語の発音を表し、
Hund[GER]=H U N T 
１つはフランス語の発音を表している。
【００３１】
Hund[FRA]=U N T
タグ言語モデルＬＭ２をここで用いて、異なる発音を考慮した、次に示すタグ確率Ｐｗ／ｔａｇｓを推定する。
【００３２】
Pｗ／ｔａｇｓ=PＬＭ１*PＬＭ２                  （１）
ここで、第１の確率ＰＬＭ１と第２の確率ＰＬＭ２は、各々、第１次言語モデルＬＭ１とタグ言語モデルＬＭ２とによって与えられた確率を示している。そのために、第２の確率ＰＬＭ２は、前の発音の文脈だけをモデル化する。また、次の単語の発音を考えてモデル化、例えばＮ番目までの最良のリストを用いてモデル化することも可能であることに注目すべきである。この場合、タグ言語モデルＬＭ２は、もはや原因関係（causal）にならない。しかしながら、この実施例では、タグ言語モデルＬＭ２が原因関係であると想定されている。タグ言語モデルＬＭ２が原因関係の場合、これは、実際の検索中に、並べられた仮説ＯＨである、Ｎ番目までの最良のリスト上で動作させずに適用できる。この実施例では、次の確率を推定する必要がある。
【００３３】
P(Der[GER]|Hund[GER] bellt[GER])=P(Der|Hund bellt)*P(GER|GER GER GER)
P(Der[GER]|und[GER] bellt[GER])=P(Der|und bellt)*P(GER|GER GER GER)
P(Der[FRA]|Hund[FRA] bellt[FRA])=P(Der|Hund bellt)*P(FRA|FRA FRA FRA)
この実施例では、タグ言語モデルＬＭ２は３つの前のタグの文脈を使用できる。なお、これは、本発明の実施の形態による一例だけのことであり、実際には更に長い文脈を使用できることに注目すべきである。第２の言語モデルＬＭ２が非常に限られた語彙しか持たないので、より長い文脈の使用が可能になる。この実施例では、これは、タグ[GER]とタグ[FRA]である、２つの「単語」だけからなる。したがって、より長い文脈を利用することも可能である。この場合の第２の確率ＰＬＭ２は、単語がドイツ語の発音で発せられる場合に、下記のように与えられる。
【００３４】
P(GER|GER GER GER)=0.98
P(GER|GER GER FRA)=0.90
P(GER|GER FRA GER)=0.90
P(GER|FRA GER GER)=0.90
P(GER|FRA GER FRA)=0.50
P(GER|GER FRA FRA)=0.50
P(GER|FRA FRA GER)=0.50
P(GER|FRA FRA FRA)=0.30
同様の確率は、あるタグ文脈、例えば、確率Ｐ（ＦＲＡ|・・・）が与えられれば、もちろんフランス語の発音の場合にもあり得る。
【００３５】
この単純な本発明の実施の形態による実施例は、一般的にドイツ語の発音がこの場合は優位にあることを示している。前の３つの単語が全てドイツ語発音で発せられれば、次の単語がドイツ語の発音で発せられる確率は９８％である。しかしながら、前の３つの単語内の１単語がフランス語の発音で発せられた場合、ドイツ語の発音の確率は９０％に減少し、フランス語の発音で発せられた２つの単語の場合は５０％に、３つの単語がフランス語の発音で発せられた場合は３０％になる。もちろん、フランス語の発音を得る確率は、ドイツ語のものを得るための確率を１００％から引いたものになる。
【００３６】
式（１）において、数学的な同一性は、第１の確率ＰＬＭ１(P(Der[FRA]|Hund[FRA] bellt[FRA]))上の第３のケースの「ＦＲＡ」に依存する場合に、又は第２の確率ＰＬＭ２が「Ｄｅｒ」に依存する場合に与えられるだけである。次に示す式では、「文脈」は、「Hund bellt」である上記の文脈を表している。
【００３７】
P(Der,FRA|context)=P(Der|context,FRA)*P(FRA|FRA FRA FRA)
=P(Der|context)*P(FRA|FRA FRA FRA,Der)
しかしながら、近似的には、タグ確率Ｐｗ／ｔａｇｓは、前述のように計算できる。この実施例では、「context=Hund bellt」、すなわち文脈は、むしろ短く、標準言語モデルを使用するケースのように、２つの単語を含んでいるだけであることに注目すべきである。タグ文脈は、しかしながら、３つのタグを含んでいる。前述のように、これらは少数のタグを含んでいるので、タグ言語モデルに対して、より長い文脈が使用できる。
【００３８】
第２の言語モデルＬＭ２の適用後、上記の確率は下記になる。
【００３９】
P(Der[GER]|Hund[GER] bellt[GER])=0.2
P(Der[GER]|und[GER] bellt[GER])=0.3
P(Der[FRA]|Hund[FRA] bellt[FRA])=0.7
これらの確率によれば、３つの仮説は、並び替えた仮説群ＲＯＨを次のように与えるように並び替えられる。すなわち、最初に並び替えた仮説ＲＨ−１、２番目に並び替えた仮説ＲＨ−２、３番目に並び替えた仮説ＲＨ−３のように与えるために並び替えられる。
【００４０】
RH-1: “Der[FRA] Hund[FRA] bellt[FRA]”
RH-2: “Der[GER] und[GER] bellt[GER]”
RH-3: “Der[GER] Hund[GER] bellt[GER]”
ここで、並び替えた最良仮説ＢＨが選択される。この実施例では、これは、「Der[FRA]Hund[FRA]bellt[FRA]」になる。
【００４１】
例えば、タグに加えて、単語にも依存する第２の確率ＰＬＭ２とする更に複雑な出力も可能である。一例として下記がある。
【００４２】
P(GER word3|tag3 tag2 tag1)
この方程式によれば、ｗｏｒｄ３というドイツ語の発音の確率が他のｗｏｒｄＷｘと異なる事実をモデル化している。この例の有用性は、例えば、英語の単語「this」の場合に使用した場合、あるドイツ人は、正確に「th」を発音するように巧みに対応できるものの、英単語の末尾の、例えば「dog」のソフトな「g」を正確に発音するドイツ人はほとんどいなく、大半のドイツ人は「dok」と発声することを示している。これらの具体例が与えられると、
P(GER dog|GER GER GER)  及び
P(GER this|GER GER GER)
の場合、前者が後者より高くなるように選択される。
【００４３】
本発明の実施の形態のもうひとつの活用法は、タグ予測を単語自体に依存させることである。これがあるタグの確率の計算に有用となる実施例を次に示す。
【００４４】
P(GER|Lied das mir spiel)
この実施例では、ほとんどの歌のタイトルが英語であるという事実が、モデル化されている。
【００４５】
発明の重要な特徴しては、話者のアクセント又は方言を明示的に決める必要がないことである。代わりに、最も高い合計確率を有する仮説が選択され、そこでは、標準のトライグラム言語モデルからの第１の確率ＰＬＭ１とタグ言語モデルＬＭ２からの第２の確率ＰＬＭ２が用いられる。
【００４６】
本発明の実施の形態は、Ｐｗ／ｔａｇｓを計算するために、全体的な言語モデルに関して特に簡易化された方法をとっており、これは、基本モードの基線モデル（第１次言語モデルＬＭ１）から構成される重ね合わせモデルとして扱うことができる。本発明の効果としては、全体的な言語モデルが完全なモデルである必要がなく、いずれにせよ頻繁に推定せず、第１のモード（基本モード）を基準にして、第２のモードの特に大きな変位に重点を置くことができる。第１のモードは、母語話者が音声認識システムを使用（第１次言語モデルＬＭ１を使用）することを意味している。第２のモードは、非母語話者がそれを使用（全体的な言語モデル、すなわち第１次言語モデルＬＭ１とタグ言語モデルＬＭ２との組合せを使用、上記を参照）することを意味している。基線モデル（第１次言語モデルＬＭ１）は、新たに組み合わせたモデル、すなわち全体的な言語モデルの限定的なケースとして扱うことができる。
【００４７】
図２を用いて、タグ言語モデルＬＭ２と並べた仮説群ＯＨを並べ替えることとに関する詳細について説明する。
【００４８】
本発明によれば、第１次言語モデルＬＭ１は、例えば、その項目（単語、見出し語）の一部又は全てにおいて、タグ、すなわちタグ情報ＴＩを含めるように修正されている標準的な統計学的なトライグラムモデルに基づいている。そして、簡易化を考慮し、「タグ無し（no-tag）」は「標準」タグと見なされる。例えば、音声で動作する英語の公開情報システムは、通常母語とするアメリカ人ユーザが用い、これをドイツ人観光客も用いると仮定する。ドイツ人が「th」を発音できないことは周知のこととして、母語の「DH OU」に加えて「S OU」という発音を加えた、単語「though」のための更なる見出し語がある。明らかに、これは、「so」という単語の標準的な発音と干渉し、アメリカ人のエラー率が以前より高くなる。本発明によれば、「S OU」という発音は、トライグラム言語モデルでタグ「ＧＥＲＭＡＮ」を受けるが、「DH OU」という発音はタグ無し（又は「ＡＭＥＲＩＣＡＮ」タグと同じ）となる。これによれば、従来のシステムの前述の干渉が回避される。
【００４９】
図２では、まず、並べた仮説群ＯＨの確率は、タグを考慮せずに、通常の方式によって音声認識部ＳＲで計算される。その後、タグ言語モデルＬＭ２を用いて、並び替えた仮説群ＲＯＨを生成する。前述のように、基本的には、タグの履歴が評価され、代替の確率がタグ履歴から計算される。例えば、タグの履歴がＧＥＲＭＡＮタグを有する多くの単語を含んでいる場合、ミニクラス「though」でＧＥＲＭＡＮタグ付きの代替の確率が高くなり、これがタグ言語モデルＬＭ２でモデル化される。ＧＥＲＭＡＮタグが見受けられない場合に、他方で、ＧＥＲＭＡＮタグ付きの代替の確率は低い。したがって、ミニクラス「though」内部のＧＥＲＭＡＮタグ付きの代替の確率は、解読された発声における前のＧＥＲＭＡＮタグ付きの単語の発声に依存する。
【００５０】
タグ言語モデルＬＭ２は、Ｎ番目までの最良のリスト又は単語格子（word lattice）の再計数（re-scoring）中に最良の状態で用いられる。なぜならば、リアルタイムな制約が非常に緩和されて、完璧な文章の履歴が再計数段階中に容易に入手できるからである。更に、再計数時に、これは、前述と同じ方式で、確率計算における将来の単語（すなわち、発声の今の単語の後に現れる単語）についての知識も含むことができる。そうすることによって、タグ言語モデルＬＭ２は、もはや長い原因関係とならず、いま再計数中の発声の全てのタグに依存することになる。
【００５１】
前述のように、タグ言語モデルＬＭ２は、タグに加えて、単語の見出し語自体に条件を設定できる。タグ言語モデルが単語に更に条件設定されると、前述のように、多くの歌のタイトルが英語であると想定すると、例えば「Spiele das Lied ...」（英訳すると「play the song...」）のように、ＥＮＧＬＩＳＨタグの局地的な可能性を増加させるトリガー語句（trigger phrase）が存在してもよい。
【００５２】
図２に示す本発明の実施の形態による実施例では、第１次言語モデルＬＭ１を使用した音声認識部ＳＲを用いて、音声入力ＳＩのために並べた仮説群ＯＨを生成する。この実施例では、音声入力ＳＩは「Where is the SONY building」（「ソニービルディングはどこ」）だった。しかしながら、音声入力ＳＩは、ドイツ語のアクセントをもって英語を話すドイツ語話者から生じる。この実施例では、並べた仮説群ＯＨの第１の最良の仮説Ｈ−１は「Where[GER] is session building」（セッションビルディングはどこ）であり、２番目に最良の仮説Ｈ−２は「Where[GER] is the[GER] SONY building」（「ソニービルディングはどこ」）になる。この実施例では、音声認識システムは標準の発音が英語であると想定しているので、[GER]タグだけ用いて、各々単語のドイツ語の発音を示すことになる。
【００５３】
タグ言語モデルＬＭ２をここで用いて、並べられた仮説群ＯＨを並び替える。この実施例では、タグ言語モデルＬＭ２には、第１の仮説Ｈ−１の最初の単語「Where」の変形であるドイツ語の発音がある。単語「Where」には、したがって、タグ情報ＴＩ「GER」がある。第２の仮説Ｈ−２には、タグ情報ＴＩ「GER」をもつ２つの単語がある。これらは「Where」と「the」という単語である。
【００５４】
図１の並び替えステップＳ４では、タグ情報ＴＩ、すなわち「GER」タグが、並べた仮説群ＯＨを並び替えるためにタグ言語モデルＬＭ２で用いられる。出力は、並び替えた仮説群ＲＯＨである。この実施例では、第１の仮説Ｈ−１と第２の仮説Ｈ−２が、並び替えステップＳ４で交換されていた。したがって、最良の仮説ＢＨ−１と２番目に最良の仮説ＢＨ−２は、ここで「Where is the SONY building」（「ソニービルディングはどこ」）になる。この最良の仮説ＢＨが、認識の結果として選択される。
【００５５】
従来技術では、複雑な言語モデル構造の欠点として、デコーダの実行中に用いる言語モデルの点数（score）が非常に高いので、それらが音声認識時間をかなり遅くすると普通はいえる。しかしながら、発明によれば、言語モデルルックアップのコストはそれほど増加しないので、この方法は、特に自らをＮ番目までの最良の又は格子再計数なものにするので、言語モデル化コストが相対的に低くなる。
【００５６】
発明の別の重要な特徴は、タグ言語モデルＬＭ２がキャッシュベース言語モデルになりえることにある。
【００５７】
次に、発明についてまとめる。
【００５８】
自動音声認識の多くのアプリケーションには、標準モードでない、あるモードの動作を用いなければならない状態がある（例えば、「非母語話者」モード）。非母語の発音を辞書に加えると、辞書の複雑性は増し、母語話者のための性能が低下する結果となる。このようなモードが今あることを過去に示したことについて、このような非標準モードの動作の発生の条件を設定するために、言語モデルを修正することも、本発明の基本的な考えである。これは、キャッシュベースタグ言語モデルと更にモード指定タグを、例えば、一次的なトライグラム言語モデルに加えることにより技術的に達成される。タグ言語モデルは、モード指定タグが存在する場合に、一次的なトライグラムの確率を修正することになる。
【００５９】
発明の更なる効果としては、話者のアクセント又は方言を明示的に決める必要がないことである。代わりに、最も高い合計確率をもつ仮説が選択され、ここでは、標準のトライグラム言語モデルからの第１の確率とタグ言語モデルからの第２の確率が用いられる。
【００６０】
また、本発明の効果としては、全体的な言語モデルが完全なモデルである必要がなく、いずれにせよ頻繁に推定せず、第１のモード（基本モード）を基準にして、第２のモードの特に大きな変位に重点を置くことができる。第１のモードは、母語話者が音声認識システムを使用（第１次言語モデルＬＭ１を使用）することを意味している。第２のモードは、非母語話者がそれを使用（全体的な言語モデル、すなわち第１次言語モデルＬＭ１とタグ言語モデルＬＭ２との組合せを使用、上記を参照）することを意味している。基線モデル（第１次言語モデルＬＭ１）は、新たに組み合わせたモデル、すなわち全体的な言語モデルの限定的なケースとして扱うことができる。
【図面の簡単な説明】
【００６１】
【図１】本発明に基づく処理を示す第１のフローチャートである。
【図２】本発明に基づく処理を示す第２のフローチャートであり、仮説の並び替え方式を詳細に図示している。
【符号の説明】
【００６２】
ＢＨ  最良仮説、ＦＲＡ  フランス語発音を表すタグ、ＧＥＲ  ドイツ語発音を表すタグ、Ｈ−１、Ｈ−２、・・・、Ｈ−Ｎ  第１の最良の仮説、２番目に最良の仮説、・・・、Ｎ番目に最良の仮説、ＬＭ１  第１次言語モデル、ＬＭ２  タグ言語モデル、ＯＨ  並べた仮説群、ＲＨ−１、ＲＨ−２、・・・、ＲＨ−Ｎ  第１の並び替えた仮説、第２の並び替えた仮説、・・・、Ｎ番目の並び替えた仮説、ＲＯＨ  並び替えた仮説群、Ｓ４  並び替えステップ、Ｓ５  選択ステップ、ＳＩ  音声入力、ＳＲ  音声認識部、ＴＩ  タグ情報入力ステップ
【図１】
2004341520.tif 000003
【図２】
2004341520.tif 000004