(57)【特許請求の範囲】
【請求項１】
入力された音声に対してその音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識装置において、
前記音声の特徴量を抽出する抽出手段と、
音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択手段と、
前記選択手段において選択された前記第１及び第２の単語について前記スコアを計算するスコア計算手段と、
前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定手段とを備え、
前記選択手段は、音韻数、品詞又は言語的な尤度を前記第２の尺度として、音韻数、品詞又は言語的な尤度が所定の条件を満たす単語を前記第２の単語として選択する音声認識装置。
【請求項２】
入力された音声に対してその音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識装置において、
前記音声の特徴量を抽出する抽出手段と、
音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択手段と、
前記選択手段において選択された前記第１及び第２の単語について前記スコアを計算するスコア計算手段と、
前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定手段と、
音声認識結果を記憶する記憶手段とを備え、
前記選択手段は、前記記憶手段に記憶されていることを前記第２の尺度として前記記憶手段に記憶されている音声認識結果に含まれる単語を前記第２の単語として選択する音声認識装置。
【請求項３】
上記装置は、さらに音声認識結果を修正するための入力を与える入力手段をさらに備え、
前記記憶手段は、前記入力手段からの入力にしたがって修正された音声認識結果を記憶する請求項２記載の音声認識装置。
【請求項４】
前記選択手段は、前記音声の特徴量を用いて前記スコアを計算し、そのスコアに基づいて前記第１の単語を選択する請求項１記載の音声認識装置。
【請求項５】
入力された音声に対してその音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識方法において、
前記音声の特徴量を抽出する抽出ステップと、
音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択ステップと、
前記選択ステップにおいて選択された前記第１及び第２の単語について前記スコアを計算するスコア計算ステップと、
前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定ステップとを備え、
前記選択ステップでは、音韻数、品詞又は言語的な尤度を前記第２の尺度として、音韻数、品詞又は言語的な尤度が所定の条件を満たす単語を前記第２の単語として選択する音声認識方法。
【請求項６】
入力された音声に対してその音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識方法において、
前記音声の特徴量を抽出する抽出ステップと、
音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択ステップと、
前記選択ステップにおいて選択された前記第１及び第２の単語について前記スコアを計算するスコア計算ステップと、
前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定ステップと、
音声認識結果を記憶手段に記憶する記憶ステップとを備え、
前記選択ステップでは、前記記憶手段に記憶されていることを前記第２の尺度として前記記憶手段に記憶されている音声認識結果に含まれる単語を前記第２の単語として選択する音声認識方法。
【請求項７】
入力された音声に対して、その音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識処理をコンピュータに行わせるプログラムが記録されている記録媒体において、
コンピュータに、
前記音声の特徴量を抽出する抽出ステップと、
音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択ステップと、
前記選択ステップにおいて選択された前記第１及び第２の単語について前記スコアを計算するスコア計算ステップと、
前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定ステップとを実行させるためのプログラムであって、
前記選択ステップでは、コンピュータに、音韻数、品詞又は言語的な尤度を前記第２の尺度として、音韻数、品詞又は言語的な尤度が所定の条件を満たす単語を前記第２の単語として選択させるためのプログラムを記録した記録媒体。
【請求項８】
入力された音声に対して、その音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識処理をコンピュータに行わせるプログラムが記録されている記録媒体において、
コンピュータに、
前記音声の特徴量を抽出する抽出ステップと、
音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択ステップと、
前記選択ステップにおいて選択された前記第１及び第２の単語について前記スコアを計算するスコア計算ステップと、
前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定ステップと、
音声認識結果を記憶手段に記憶する記憶ステップとを実行させるためのプログラムであって、
前記選択ステップでは、コンピュータに、前記記憶手段に記憶されていることを前記第２の尺度として前記記憶手段に記憶されている音声認識結果に含まれる単語を前記第２の単語として選択させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識装置及び音声認識方法、並びに記録媒体に関し、特に、例えば、音響的な特徴量が不安定な単語を含む音声であっても、少ないリソースで精度の良い音声認識を行うことができるようにする音声認識装置及び音声認識方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
図１は、従来の音声認識装置の一例を示している。
ユーザが発した音声は、マイクロホン１に入力される。マイクロホン１は、入力された音声を、電気信号としての音声信号に変換する。この音声信号は、Ａ／Ｄ(Analog／Digital)変換部２に供給される。Ａ／Ｄ変換部２は、マイクロホン１から出力されるアナログ信号である音声信号をサンプリング、量子化し、ディジタル信号である音声データに変換する。この音声データは、特徴抽出部３に供給される。
【０００３】
特徴抽出部３は、Ａ／Ｄ変換部２からの音声データについて、適当なフレーム毎に音響処理を施し、これにより、例えば、ＭＦＣＣ(Mel Frequency Cepstrum Coefficient)等の特徴量を抽出し、マッチング部４に供給する。なお、特徴抽出部３では、その他、例えば、スペクトルや、線形予測係数、ケプストラム係数、線スペクトル対等の特徴量を抽出することが可能である。
【０００４】
マッチング部４は、特徴抽出部３からの特徴量を用いて、音響モデルデータベース５、辞書データベース６及び文法データベース７を必要に応じて参照しながら、マイクロホン１に入力された音声（入力音声）を、例えば、連続分布ＨＭＭ法等に基づいて音声認識する。
【０００５】
即ち、音響モデルデータベース５は、音声認識する音声の言語における個々の音素や音節などの音響的な特徴を表す音響モデルを記憶している。ここでは、連続分布ＨＭＭ法に基づいて音声認識を行うので、音響モデルとしては、ＨＭＭ(Hidden Markov Model)が用いられる。辞書データベース６は、認識対象の各単語（語彙）について、その発音に関する情報（音韻情報）が記述された単語辞書を記憶している。文法データベース７は、辞書データベース６の単語辞書に登録されている各単語が、どのように連鎖、すなわちつながるかを記述した文法規則（言語モデル）を記憶している。ここで、文法規則としては、例えば、文脈自由文法（ＣＦＧ）や、統計的な単語連鎖確率（Ｎ−ｇｒａｍ）などに基づく規則を用いることができる。
【０００６】
マッチング部４は、辞書データベース６の単語辞書を参照することにより、音響モデルデータベース５に記憶されている音響モデルを接続することで、単語の音響モデル（単語モデル）を構成する。さらに、マッチング部４は、幾つかの単語モデルを、文法データベース７に記憶された文法規則を参照することにより接続し、そのようにして接続された単語モデルを用いて、特徴量に基づき、連続分布ＨＭＭ法によって、マイクロホン１に入力された音声を認識する。即ち、マッチング部４は、特徴抽出部３が出力する時系列の特徴量が観測されるスコア（尤度）が最も高い単語モデルの系列を検出し、その単語モデルの系列に対応する単語列を音声の認識結果として出力する。
【０００７】
具体的には、マッチング部４は、接続された単語モデルに対応する単語列について、各特徴量の出現確率を累積し、その累積値をスコアとして、そのスコアを最も高くする単語列を音声認識結果として出力する。
【０００８】
スコア計算は、一般に、音響モデルデータベース５に記憶された音響モデルによって与えられる音響的なスコア（以下、適宜、音響スコアという）と、文法データベース７に記憶された文法規則によって与えられる言語的なスコア（以下、適宜、言語スコアという）とを総合評価することで行われる。
【０００９】
即ち、音響スコアは、例えば、ＨＭＭ法による場合には、単語モデルを構成する音響モデルから、特徴抽出部３が出力する特徴量の系列が観測される確率（出現する確率）に基づいて、単語ごとに計算される。また、言語スコアは、例えば、バイグラムによる場合には、注目している単語と、その単語の直前の単語とが連鎖（連接）する確率に基づいて求められる。そして、各単語についての音響スコアと言語スコアとを総合評価して得られる最終的なスコア（以下、適宜、最終スコアという）に基づいて音声認識結果が確定される。
【００１０】
具体的には、あるＮ個の単語からなる単語列におけるｋ番目の単語をｗkとして、その単語ｗkの音響スコアをＡ（ｗk）と、言語スコアをＬ（ｗk）と、それぞれ表すとき、その単語列の最終スコアＳは、例えば、式１にしたがって計算される。
Ｓ＝Σ（Ａ（ｗk）＋Ｃk×Ｌ（ｗk））・・・（１）
【００１１】
但し、Σは、ｋを１からＮに変えてのサメーションをとることを表す。また、Ｃkは、単語ｗkの言語スコアＬ（ｗk）にかける重みを表す。
【００１２】
マッチング部４では、例えば、式１に示す最終スコアを最も大きくするＮと、単語列ｗ1，ｗ2，・・・，ｗNを求めるマッチング処理が行われ、その単語列ｗ1，ｗ2，・・・，ｗNが、音声認識結果として出力される。
【００１３】
以上のような処理が行われることにより、図１の音声認識装置では、例えば、ユーザが、「ニューヨークに行きたいです」と発話した場合には、「ニューヨーク」、「に」、「行きたい」、「です」といった各単語に、音響スコア及び言語スコアが与えられ、それらを総合評価して得られる最終スコアが最も大きいときと、単語列「ニューヨーク」、「に」、「行きたい」、「です」が音声認識結果として出力される。
【００１４】
ところで、上述の場合において、辞書データベース６の単語辞書に、「ニューヨーク」、「に」、「行きたい」及び「です」の５単語が登録されているとすると、これらの５単語を用いて構成し得る５単語の並びは、５5通り存在する。従って、単純には、マッチング部４では、この５5通りの単語列を評価し、その中から、ユーザの発話に最も適合するもの、すなわち最終スコアを最も大きくするものを決定しなければならない。単語辞書に登録する単語数が増えれば、その単語数分の単語の並びの数は、単語数の単語数乗通りになるから、評価の対象としなければならない単語列は膨大な数となる。
【００１５】
さらに、一般には、発話中に含まれる単語の数は未知であるから、５単語の並びからなる単語列だけでなく、１単語、２単語、・・・からなる単語列も、評価の対象とする必要がある。従って、評価すべき単語列の数は、さらに膨大なものとなるから、そのような膨大な単語列の中から、音声認識結果として最も確からしいものを、計算量及び使用するメモリ容量の観点から効率的に決定することは、非常に重要な問題である。
【００１６】
計算量及びメモリ容量の効率化を図る方法としては、例えば、音響スコアを求める過程において、その途中で得られる音響スコアが所定の閾値以下となった場合に、そのスコア計算を打ち切るという音響的な枝刈り手法や、言語スコアに基づいて、スコア計算の対象とする単語を絞り込む言語的な枝刈り手法がある。
【００１７】
これらの枝刈り手法によれば、スコア計算の対象が、所定の判断基準（例えば、上述したような計算途中の音響スコアや、単語に与えられる言語スコア）に基づいて絞り込まれることで、計算量の削減を図ることができる。しかしながら、その反面、絞り込みを強くすると、即ち、判断基準を厳しくすると、本来、音声認識結果として正しいものまでも枝刈りされてしまい、誤認識が生じることになる。従って、枝刈り手法による場合には、音声認識結果として正しいものが枝刈りされないように、ある程度のマージンをもたせた絞り込みを行う必要があり、このため、計算量を大きく削減することは困難である。
【００１８】
また、音響スコアを求める場合に、スコア計算の対象となっているすべての単語について独立に行うと、その計算量が大きくなることから、複数の単語について音響スコアの計算の一部を共通化（共有化）する方法が提案されている。この共通化の方法としては、単語辞書の単語のうち、その先頭の音韻が同一のものについて、その先頭の音韻から、同一になっている音韻までは、音響モデルを共通に用い、それ以後の異なる音韻には、音響モデルを個々に用いることにより、全体として１つの木構造のネットワークを構成し、これを用いて、音響スコアを求める方法がある。具体的には、例えば、いま、単語「秋田」と「曙」を考え、「秋田」の音韻情報が「akita」であり、「曙」の音韻情報が「akebono」であるとすると、単語「秋田」と「曙」の音響スコアは、それぞれの先頭から２番目までの音韻a,kについては兼用で計算される。そして、単語「秋田」の残りの音韻k,i,t,a、及び単語「曙」の残りの音韻e,b,o,n,oについては、それぞれ独立に音響スコアが計算される。
【００１９】
従って、この方法によれば、音響スコアの計算量を大幅に低減することができる。
【００２０】
この方法では、共通化されている部分である音響スコアが兼用で計算される部分において、その音響スコアの計算の対象となっている単語を決定することができない。即ち、上述の単語「秋田」と「曙」の例でいえば、それぞれの先頭から２番目までの音韻a,kについて音響スコアが計算されている場合は、その音響スコアが計算されている単語が、「秋田」であるのか、又は「曙」であるのかを同定することができない。
【００２１】
この場合、「秋田」については、その３番目の音韻iについて音響スコアの計算が開始されたときに、その計算対象が「秋田」であることを同定することができ、「曙」についても、その３番目の音韻eについての音響スコアの計算が開始されたときに、その計算対象が「曙」であることを同定することができる。
【００２２】
従って、音響スコアの計算の一部を共通化してしまうと、単語の音響スコアの計算の開始時に、その単語を同定することができないため、その単語について、言語スコアを考慮することができない。その結果、単語の音響スコアの開始前に、上述したような言語的な枝刈り手法を用いることが困難となり、無駄な計算が行われることがある。
【００２３】
さらに、音響スコアの計算の一部を共通化する場合、単語辞書のすべての単語を対象として、上述したような木構造のネットワークが構成されるから、これを保持するための大きなメモリ容量が必要となる。
【００２４】
また、計算量及びメモリ容量の効率化を図る方法としては、音響スコアを計算する場合に、単語辞書のすべての単語を対象とするのではなく、その音響スコアの計算の対象とする単語を予備的に選択（予備選択）し、その予備選択された単語についてだけ、音響スコアを計算する方法がある。
【００２５】
ここで、予備選択の方法は、例えば、L. R. Bahl, S. V. De Gennaro, P. S. Gopalakrishnan and R. L. Mercer, "A Fast Approximate Acoustic Match for Large Vocabulary Speech Recognition", IEEE Trans. Speech and Audio Proc., vol. 1, pp.59-67, 1993等に記載されている。
【００２６】
予備選択は、一般に、それほど精度の高くない、簡易的な音響モデルや文法規則を用いて行われる。即ち、予備選択は、単語辞書の単語すべてを対象として行われるため、精度の高い音響モデルや文法規則を用いて予備選択を行うと、リアルタイム性等を維持するのに、計算量やメモリ容量といったリソースが多く必要となる。そこで、予備選択は、簡易的な音響モデルや文法規則を用いることで、大語彙を対象とした場合でも、比較的少ないリソースで、高速に行うことが可能となっている。
【００２７】
予備選択を行う音声認識装置では、予備選択された単語についてだけマッチング処理を行えば良いので、マッチング処理は、精度の高い音響モデルや文法規則を用いても、少ないリソースで、高速に行うことができる。従って、予備選択を行う音声認識装置は、大語彙を対象として音声認識を行う場合に、特に有用である。
【００２８】
【発明が解決しようとする課題】
ところで、予備選択は、ある単語について、特徴量の系列（特徴量系列）を用いてのマッチング処理が終了し、とりあえず確からしい終点が求められた後に、その終点を始点として、その始点に対応する時刻以後の特徴量系列を用いて行われる。即ち、予備選択は、連続発話された音声に含まれる単語どうしの境界（単語境界）が、最終的に確定していない時点で行われる。
【００２９】
従って、予備選択に用いられる特徴量系列の始点や終点が、対応する単語の始点や終点からずれている場合には、その単語の直前の単語や直後の単語の音韻の特徴量を含む特徴量系列や、対応する単語の最初や最後の部分の特徴量が欠けた特徴量系列、即ち、いわば音響的に安定していない特徴量系列を用いて、予備選択が行われることになる。
【００３０】
このため、簡易的な音響モデルを用いる予備選択では、発話中に含まれる単語が選択されないことが起こり得る。特に、例えば、日本語の助詞や助動詞、英語の冠詞や前置詞などの音韻数が短い単語については、そのような選択漏れが生じる可能性が高い。
【００３１】
そして、予備選択において、正しい単語が選択されない場合には、その単語についてマッチング処理が行われないから、音声認識結果は誤ったものとなる。
【００３２】
そこで、予備選択において、単語を選択するときの音響的又は言語的な判断基準を緩くして、選択される単語の数を多くする方法や、精度の高い音響モデル及び文法規則を用いる方法がある。
【００３３】
しかしながら、予備選択において、単語を選択するときの音響的又は言語的な判断基準を緩くすると、音声認識結果としてそれほど可能性の高くない単語の多くが、マッチング処理の対象となり、予備選択に比較して１単語あたりの負荷の重いマッチング処理に要するリソースが大きく増大する。
【００３４】
また、予備選択において、精度の高い音響モデル及び文法規則を用いる場合には、予備選択に要するリソースが大きく増大する。
【００３５】
本発明は、このような状況に鑑みてなされたものであり、必要なリソースの増加を極力抑えながら、音声認識精度を向上させることができるようにするものである。
【００３６】
【課題を解決するための手段】
本発明に係る音声認識装置は、入力された音声に対してその音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識装置において、前記音声の特徴量を抽出する抽出手段と、音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択手段と、前記選択手段において選択された前記第１及び第２の単語について前記スコアを計算するスコア計算手段と、前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定手段とを備え、前記選択手段は、音韻数、品詞又は言語的な尤度を前記第２の尺度として、音韻数、品詞又は言語的な尤度が所定の条件を満たす単語を前記第２の単語として選択する。
【００３７】
また、本発明に係る音声認識装置は、入力された音声に対してその音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識装置において、前記音声の特徴量を抽出する抽出手段と、音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択手段と、前記選択手段において選択された前記第１及び第２の単語について前記スコアを計算するスコア計算手段と、前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定手段と、音声認識結果を記憶する記憶手段とを備え、前記選択手段は、前記記憶手段に記憶されていることを前記第２の尺度として前記記憶手段に記憶されている音声認識結果に含まれる単語を前記第２の単語として選択する。
【００３８】
また、本発明に係る音声認識装置は、音声認識結果を修正するための入力を与える入力手段をさらに備えることができる。この場合、記憶手段は、入力手段からの入力にしたがって修正された音声認識結果を記憶する。また、選択手段は、音声の特徴量を用いて、スコアを計算させ、そのスコアに基づいて、第１の単語を選択する。
【００３９】
本発明に係る音声認識方法は、入力された音声に対してその音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識方法において、前記音声の特徴量を抽出する抽出ステップと、音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択ステップと、前記選択ステップにおいて選択された前記第１及び第２の単語について前記スコアを計算するスコア計算ステップと、前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定ステップとを備え、前記選択ステップでは、音韻数、品詞又は言語的な尤度を前記第２の尺度として、音韻数、品詞又は言語的な尤度が所定の条件を満たす単語を前記第２の単語として選択する。
【００４０】
また、本発明に係る音声認識方法は、入力された音声に対してその音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識方法において、前記音声の特徴量を抽出する抽出ステップと、音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択ステップと、前記選択ステップにおいて選択された前記第１及び第２の単語について前記スコアを計算するスコア計算ステップと、前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定ステップと、音声認識結果を記憶手段に記憶する記憶ステップとを備え、前記選択ステップでは、前記記憶手段に記憶されていることを前記第２の尺度として前記記憶手段に記憶されている音声認識結果に含まれる単語を前記第２の単語として選択する。
【００４１】
本発明に係るプログラムを記録した記録媒体は、入力された音声に対して、その音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識処理をコンピュータに行わせるプログラムが記録されている記録媒体において、コンピュータに、前記音声の特徴量を抽出する抽出ステップと、音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択ステップと、前記選択ステップにおいて選択された前記第１及び第２の単語について前記スコアを計算するスコア計算ステップと、前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定ステップとを実行させるためのプログラムであって、前記選択ステップでは、コンピュータに、音韻数、品詞又は言語的な尤度を前記第２の尺度として、音韻数、品詞又は言語的な尤度が所定の条件を満たす単語を前記第２の単語として選択させるためのプログラムを記録したものである。
また、本発明に係るプログラムを記録した記録媒体は、入力された音声に対して、その音声認識結果の音響的な尤度を反映したスコアを計算し、そのスコアに基づいて前記音声を認識する音声認識処理をコンピュータに行わせるプログラムが記録されている記録媒体において、コンピュータに、前記音声の特徴量を抽出する抽出ステップと、音声認識の対象とする単語群から１以上の第１の単語を前記特徴量を用いて計算される第１の尺度に基づいて選択するとともに、１以上の第２の単語を前記第１の尺度とは異なる第２の尺度に基づいて選択する選択ステップと、前記選択ステップにおいて選択された前記第１及び第２の単語について前記スコアを計算するスコア計算ステップと、前記スコアに基づいて前記音声の音声認識結果としての単語列を確定する確定ステップと、音声認識結果を記憶手段に記憶する記憶ステップとを実行させるためのプログラムであって、前記選択ステップでは、コンピュータに、前記記憶手段に記憶されていることを前記第２の尺度として前記記憶手段に記憶されている音声認識結果に含まれる単語を前記第２の単語として選択させるためのプログラムを記録したものである。
【００４２】
本発明に係る音声認識装置及び音声認識方法、並びに記録媒体は、音声認識の対象とする単語群から、１以上の第１の単語が、特徴量を用いて計算される第１の尺度に基づいて選択されるとともに、１以上の第２の単語が、第１の尺度とは異なる第２の尺度に基づいて選択され、その選択された第１及び第２の単語について、スコアが計算される。
【００４３】
【発明の実施の形態】
図２は、本発明に係る音声認識装置の一例を示している。なお、図中、図１に示す装置と対応する部分については、同一の符号を付し、以下では、その詳細な説明は適宜省略する。
【００４４】
特徴量抽出部３が出力するユーザが発した音声の特徴量の系列は、フレーム単位で制御部１１に供給され、制御部１１は、特徴量抽出部３からの特徴量を特徴量記憶部１２に供給する。
【００４５】
制御部１１は、単語接続情報記憶部１６に記憶された単語接続情報を参照してマッチング部１４を制御する。さらに、制御部１１は、マッチング部１４が前述した図１のマッチング部４と同様のマッチング処理を行うことにより得られるマッチング処理結果としての音響スコアや言語スコア等に基づいて、単語接続情報を生成し、その単語接続情報によって、単語接続情報記憶部１６の記憶内容を更新する。また、制御部１１は、単語接続情報記憶部１６に記憶された単語接続情報に基づいて最終的な音声認識結果を確定して出力する。
【００４６】
特徴量記憶部１２は、制御部１１から供給される特徴量の系列を、例えば、ユーザの音声の認識結果が得られるまで記憶する。なお、制御部１１は、音声区間の開始時刻を基準（例えば０）とする、特徴抽出部３が出力する特徴量が得られた時刻（以下、適宜、抽出時刻という）を、その特徴量とともに特徴量記憶部１２に供給するようになっており、特徴量記憶部１２は、特徴量をその抽出時刻とともに記憶する。特徴量記憶部１２に記憶された特徴量及びその抽出時刻は、単語予備選択部１３及びマッチング部１４において必要に応じて参照することができるようになっている。
【００４７】
単語予備選択部１３は、マッチング部１４からの要求に応じ、単語接続情報記憶部１６、音響モデルデータベース１７Ａ、辞書データベース１８Ａ及び文法データベース１９Ａを必要に応じて参照しながら、マッチング部１４でマッチング処理の対象とする１以上の単語を選択する単語予備選択処理を、特徴量記憶部１２に記憶された特徴量を用いて行う。
【００４８】
マッチング部１４は、制御部１１からの制御に基づき、単語接続情報記憶部１６、音響モデルデータベース１７Ｂ、辞書データベース１８Ｂ及び文法データベース１９Ｂを必要に応じて参照しながら、単語予備選択部１３からの単語予備選択処理の結果得られる単語を対象としたマッチング処理を、特徴量記憶部１２に記憶された特徴量を用いて行い、そのマッチング処理の結果を制御部１１に供給する。
【００４９】
単語接続情報記憶部１６は、制御部１１から供給される単語接続情報をユーザの音声の認識結果が得られるまで記憶する。
ここで、単語接続情報は、最終的な音声認識結果の候補となる単語列を構成する単語どうしの接続（連鎖又は連接）関係を表すもので、各単語の音響スコア及び言語スコア並びに各単語に対応する発話の開始時刻及び終了時刻も含んでいる。
【００５０】
即ち、図３は、単語接続情報記憶部１６に記憶される単語接続情報を、グラフ構造を用いて示している。
【００５１】
図３に示す例において、単語接続情報としてのグラフ構造は、単語を表すアーク（図３において、○印どうしを結ぶ線分で示す部分）と、単語どうしの境界を表すノード（図３において○印で示す部分）とから構成されている。
【００５２】
ノードは、時刻情報を有しており、この時刻情報は、そのノードに対応する特徴量の抽出時刻を表す。上述したように、抽出時刻は、音声区間の開始時刻を０とする、特徴抽出部３が出力する特徴量が得られた時刻であるから、図３において、音声区間の開始、即ち、最初の単語の先頭に対応するノードNode1が有する時刻情報は０となる。ノードは、アークの始端及び終端となるが、始端のノード（始端ノード）、又は終端のノード（終端ノード）が有する時刻情報は、それぞれ、そのノードに対応する単語の発話の開始時刻、又は終了時刻となる。
【００５３】
なお、図３では、左から右方向が、時間の経過を表しており、従って、あるアークの左右にあるノードのうち、左側のノードが始端ノードとなり、右側のノードが終端ノードとなる。
【００５４】
アークは、そのアークに対応する単語の音響スコア及び言語スコアを有しており、このアークが、終端ノードとなっているノードを始端ノードとして、順次接続されていくことにより、音声認識結果の候補となる単語の系列が構成されていく。
【００５５】
即ち、制御部１１においては、まず最初に、音声区間の開始を表すノードNode1に対して、音声認識結果として確からしい単語に対応するアークが接続される。図３の実施の形態では、「今日」に対応するアークArc1、「いい」に対応するアークArc6、及び「天気」に対応するArc11が接続されている。なお、音声認識結果として確からしい単語かどうかは、マッチング部１４において求められる音響スコア及び言語スコアに基づいて決定される。
【００５６】
そして、以下、同様にして、「今日」に対応するアークArc1の終端である終端ノードNode2、「いい」に対応するアークArc6の終端である終端ノードNode7、「天気」に対応するArc11の終端である終端ノードNode12それぞれに対して、同様に、確からしい単語に対応するアークが接続されていく。
【００５７】
以上のようにしてアークが接続されていくことで、音声区間の開始を始点として、左から右方向に、アークとノードで構成される１以上のパスが構成されて行くが、例えば、そのパスのすべてが、音声区間の最後（図３では、時刻Ｔ）に到達すると、制御部１１において、音声区間の開始から最後までに形成された各パスについて、そのパスを構成するアークが有している音響スコア及び言語スコアが累積され、最終スコアが求められる。そして、例えば、その最終スコアが最も高いパスを構成するアークに対応する単語列が、音声認識結果として確定されて出力される。
【００５８】
具体的には、図３において、例えば、ノードNode１から、「今日」に対応するアークArc1、ノードNode2、「は」に対応するアークArc2、ノードNode3、「いい」に対応するアークArc3、ノードNode4、「天気」に対応するアークArc4、ノードNode5、「ですね」に対応するアークArc5、及びノードNode6で構成されるパスについて、最も高い最終スコアが得られた場合には、単語列「今日」、「は」、「いい」、「天気」、「ですね」が、音声認識結果として出力されることになる。
【００５９】
なお、上述の場合には、音声区間内にあるノードについて、必ずアークを接続して、音声区間の開始から最後にまで延びるパスを構成するようにしたが、このようなパスを構成する過程において、それまでに構成されたパスについてのスコアから、音声認識結果として不適当であることが明らかであるパスに関しては、その時点で、パスの構成を打ち切る（その後に、アークを接続しない）ようにすることが可能である。
【００６０】
上述のようなパスの構成ルールに従えば、１つのアークの終端が、次に接続される１以上のアークの始端ノードなり、基本的には、枝葉が拡がるように、パスが構成されて行くが、例外的に、１つのアークの終端が、他のアークの終端に一致する場合、つまり、あるアークの終端ノードと、他のアークの終端ノードとが同一のノードに共通化される場合がある。
【００６１】
文法規則として、例えば、バイグラムを用いた場合には、別のノードから延びる２つのアークが、同一の単語に対応するものであり、さらに、その単語の発話の終了時刻も同一であるときには、その２つのアークの終端は一致する。
【００６２】
図３において、ノードNode7を始端として延びるアークArc７、及びノードNode13を始端として延びるアークArc13は、いずれも「天気」に対応するものであり、その発話の終了時刻も同一であるため、その終端ノードは、同一のノードNode8に共通化されている。
【００６３】
なお、ノードの共通化は行わないようにすることも可能であるが、メモリ容量の効率化の観点からは、行うのが好ましい。
【００６４】
図３では、文法規則としてバイグラムを用いているが、その他、例えば、トライグラム等を用いる場合も、ノードの共通化は可能である。
【００６５】
さらに、単語接続情報記憶部１６に記憶されている単語接続情報は、単語予備選択部１３及びマッチング部１４において、必要に応じて参照することができるようになっている。
【００６６】
図２に戻り、音響モデルデータベース１７Ａ及び１７Ｂは、基本的には、図１の音響モデルデータベース５において説明したような音響モデルを記憶している。
【００６７】
但し、音響モデルデータベース１７Ｂは、音響モデルデータベース１７Ａよりも精度の高い処理が可能な高精度の音響モデルを記憶している。即ち、音響モデルデータベース１７Ａにおいて、各音素や音節について、例えば、前後のコンテキストに依存しない１パターンの音響モデルだけが記憶されているとすると、音響モデルデータベース１７Ｂには、各音素や音節について、例えば、前後のコンテキストに依存しない音響モデルの他、単語間にまたがるコンテキストに依存する音響モデル、つまり、クロスワードモデルや、単語内のコンテキストに依存する音響モデルも記憶されている。
【００６８】
辞書データベース１８Ａ及び１８Ｂは、基本的には、図１の辞書データベース６において説明したような単語辞書を記憶している。
【００６９】
即ち、辞書データベース１８Ａ及び１８Ｂの単語辞書には、同一セットの単語が登録されている。但し、辞書データベース１８Ｂの単語辞書は、辞書データベース１８Ａの単語辞書よりも精度の高い処理が可能な高精度の音韻情報を記憶している。即ち、辞書データベース１８Ａの単語辞書には、例えば、各単語に対して、１通りの音韻情報（読み）だけ登録されているとすると、辞書データベース１８Ｂの単語辞書には、例えば、各単語に対して、複数通りの音韻情報が登録されている。
【００７０】
具体的には、例えば、単語「お早う」に対して、辞書データベース１８Ａの単語辞書には、１通りの音韻情報「おはよう」だけが、辞書データベース１８Ｂの単語辞書には、「おはよう」の他、「おはよー」や「おはよ」が、それぞれ音韻情報として登録されている。
【００７１】
文法データベース１９Ａ及び１９Ｂは、基本的には、図１の文法データベース７において説明したような文法規則を記憶している。
【００７２】
但し、文法データベース１９Ｂは、文法データベース１９Ａよりも精度の高い処理が可能な高精度の文法規則を記憶している。即ち、文法データベース１９Ａが、例えば、ユニグラム（単語の生起確率）に基づく文法規則を記憶しているとすると、文法データベース１９Ｂは、例えば、バイグラム（直前の単語との関係を考慮した単語の生起確率）や、トライグラム（直前の単語及びそのさらに１つ前の単語との関係を考慮した単語の生起確率）、文脈自由文法等に基づく文法規則を記憶している。
【００７３】
以上のように、音響モデルデータベース１７Ａには、各音素や音節について、１パターンの音響モデルが、音響モデルデータベース１７Ｂには、各音素や音節について、複数パターンの音響モデルが、それぞれ記憶されている。また、辞書データベース１８Ａには、各単語について、１通りの音韻情報が、辞書データベース１８Ｂには、各単語について、複数通りの音韻情報が、それぞれ記憶されている。そして、文法データベース１９Ａには、簡易な文法規則が、文法データベース１９Ｂには、精度の高い文法規則が、それぞれ記憶されている。
【００７４】
これにより、音響モデルデータベース１７Ａ、辞書データベース１８Ａ及び文法データベース１９Ａを参照する単語予備選択部１３では、それほど精度は高くないが、多くの単語を対象として、迅速に、音響スコアや言語スコアを求めることができる。また、音響モデルデータベース１７Ｂ、辞書データベース１８Ｂ、及び文法データベース１９Ｂを参照するマッチング部１４では、ある程度の数の単語を対象として、迅速に、精度の高い音響スコアや言語スコアを求めることができる。
【００７５】
ここでは、音響モデルデータベース１７Ａ及び１７Ｂそれぞれに記憶させる音響モデルの精度について優劣を設けるようにしたが、音響モデルデータベース１７Ａ及び１７Ｂには、いずれにも同一の音響モデルを記憶させることができ、この場合、音響モデルデータベース１７Ａ及び１７Ｂは、１つの音響モデルデータベースに共通化することができる。同様に、辞書データベース１８Ａ及び１８Ｂの単語辞書それぞれの記憶内容や、文法データベース１９Ａ及び１９Ｂそれぞれの文法規則も同一にすることができる。
【００７６】
次に、図４のフローチャートを参照して、図２の音声認識装置による音声認識処理について説明する。
【００７７】
ユーザが発話を行うと、その発話としての音声は、マイクロホン１及びＡ／Ｄ変換部２を介することにより、ディジタルの音声データとされ、特徴抽出部３に供給される。特徴抽出部３は、そこに供給される音声データから、音声の特徴量を、フレームごとに順次抽出し、制御部１１に供給する。
【００７８】
制御部１１は、何らかの手法で音声区間を認識するようになっており、音声区間においては、特徴抽出部３から供給される特徴量の系列を、各特徴量の抽出時刻と対応付けて、特徴量記憶部１２に供給して記憶させる。
【００７９】
さらに、制御部１１は、音声区間の開始後、ステップＳ１において、音声区間の開始を表すノード（以下、適宜、初期ノードという）を生成し、単語接続情報記憶部１６に供給して記憶させる。即ち、制御部１１は、ステップＳ１において、図３におけるノードNode1を、単語接続情報記憶部１６に記憶させる。
【００８０】
そして、ステップＳ２に進み、制御部１１は、単語接続情報記憶部１６の単語接続情報を参照することで、途中ノードが存在するかどうかを判定する。
【００８１】
即ち、上述したように、図３に示した単語接続情報においては、終端ノードに、アークが接続されていくことにより、音声区間の開始から最後にまで延びるパスが形成されて行くが、ステップＳ２では、終端ノードのうち、まだアークが接続されておらず、かつ、音声区間の最後にまで到達していないものが、途中ノード（例えば、図３におけるノードNode8や、Node10，Node11）として検索され、そのような途中ノードが存在するかどうかが判定される。
【００８２】
上述したように、音声区間は何らかの手法で認識され、さらに、終端ノードに対応する時刻は、その終端ノードが有する時刻情報を参照することで認識することができるから、アークが接続されていない終端ノードが、音声区間の最後に到達していない途中ノードであるかどうかは、音声区間の最後の時刻と、終端ノードが有する時刻情報とを比較することで判定することができる。
【００８３】
ステップＳ２において、途中ノードが存在すると判定された場合、ステップＳ３に進み、制御部１１は、情報接続情報の中に存在する途中ノードのうちの１つを、それに接続するアークとしての単語を決定するノード（以下、適宜、注目ノードという）として選択する。
【００８４】
即ち、制御部１１は、情報接続情報の中に１つの途中ノードしか存在しない場合には、その途中ノードを注目ノードとして選択する。また、制御部１１は、情報接続情報の中に複数の途中ノードが存在する場合には、複数の途中ノードのうちの１つを注目ノードとして選択する。具体的には、制御部１１は、例えば、複数の途中ノードそれぞれが有する時刻情報を参照し、その時刻情報が表す時刻が最も古いもの（音声区間の開始側のもの）、又は最も新しいもの（音声区間の終わり側のもの）を、注目ノードとして選択する。また、制御部１１は、例えば、初期ノードから、複数の途中ノードそれぞれに至るまでのパスを構成するアークが有する音響スコア及び言語スコアを累積し、その累積値（以下、適宜、部分累積スコアという）が最も大きくなるパス、又は小さくなるパスの終端になっている途中ノードを、注目ノードとして選択する。
【００８５】
その後、制御部１１は、注目ノードが有する時刻情報を開始時刻としてマッチング処理を行う旨の指令（以下、適宜、マッチング処理指令という）を、マッチング部１４に出力する。
【００８６】
マッチング部１４は、制御部１１からマッチング処理指令を受信すると、注目ノード、及びそれが有する時刻情報を、単語予備選択部１３に供給し、単語予備選択処理を要求して、ステップＳ４に進む。
【００８７】
ステップＳ４では、単語予備選択部１３は、マッチング部１４から、単語予備選択処理の要求を受信すると、注目ノードに接続されるアークとなる単語の候補を選択する単語予備選択処理を、辞書データベース１８Ａの単語辞書に登録された単語を対象として行う。
【００８８】
即ち、単語予備選択部１３は、言語スコア及び音響スコアを計算するのに用いる特徴量の系列の開始時刻を注目ノードが有する時刻情報から認識し、その開始時刻以降の必要な特徴量の系列を特徴量記憶部１２から読み出す。さらに、単語予備選択部１３は、辞書データベース１８Ａの単語辞書に登録された各単語の単語モデルを音響モデルデータベース１７Ａの音響モデルを接続することで構成し、その単語モデルに基づき、特徴量記憶部１２から読み出した特徴量の系列を用いて音響スコアを計算する。
【００８９】
単語予備選択部１３は、各単語モデルに対応する単語の言語スコアを文法データベース１９Ａに記憶された文法規則に基づいて計算する。即ち、単語予備選択部１３は、各単語の言語スコアを例えばユニグラムに基づいて求める。
【００９０】
単語予備選択部１３においては、単語接続情報を参照することにより、各単語の音響スコアの計算をその単語の直前の単語（注目ノードが終端となっているアークに対応する単語）に依存するクロスワードモデルを用いて行うことが可能である。但し、クロスワードモデルを用いる場合には、用いない場合に比較して音響スコアの計算量は増大することになる。
【００９１】
また、単語予備選択部１３においては、単語接続情報を参照することにより、各単語の言語スコアの計算を、その単語が、その直前の単語と連鎖する確率を規定するバイグラムに基づいて行うことが可能である。但し、バイグラム（さらには、トライグラム等）に基づいて言語スコアの計算を行う場合には、ユニグラムに基づいて行う場合に比較してその計算量は増大することになる。
【００９２】
単語予備選択部１３は、以上のようにして、各単語について音響スコア及び言語スコアを求めると、その音響スコア及び言語スコアを総合評価したスコア（以下、適宜、単語スコアという）（第１の尺度）を求め、その上位Ｌ個を、マッチング処理の対象とする単語としてマッチング部１４に供給する。
【００９３】
さらに、単語予備選択部１３は、ステップＳ４において、辞書データベース１８Ａに登録されている１以上の単語を、音響スコアが反映された単語スコアとは異なる尺度（第２の尺度）に基づいて選択してマッチング部１４に供給する。
【００９４】
即ち、単語予備選択部１３は、辞書データベース１８Ａに登録されている単語のうち、例えば、音素数又は音韻数が、所定値以下の短い単語及び所定の品詞の単語（例えば、英語における前置詞や冠詞、日本語における助詞や助動詞など）などの一般に発話時間が短い単語をその音響スコアに関係なく選択してマッチング部１４に供給する。この場合、発話時間が短い単語は、必ず、マッチング処理の対象とされる。
【００９５】
単語予備選択部１３において、上述のように、音響スコアに関係のない特定の尺度で選択される単語を、以下、適宜、特定単語という。
【００９６】
マッチング部１４は、単語予備選択部１３から、単語スコアに基づいて選択されたＬ個の単語と、単語スコアに関係ない所定の条件（尺度）に基づいて選択された特定単語を受信すると、ステップＳ５において、それらの単語を対象としてマッチング処理を行う。
【００９７】
即ち、マッチング部１４は、言語スコア及び音響スコアを計算するのに用いる特徴量の系列の開始時刻を注目ノードが有する時刻情報から認識し、その開始時刻以降の必要な特徴量の系列を特徴量記憶部１２から読み出す。さらに、マッチング部１４は、辞書データベース１８Ｂを参照することで、単語予備選択部１３からの単語の音韻情報を認識し、その音韻情報に対応する音響モデルを音響モデルデータベース１７Ｂから読み出して接続することで単語モデルを構成する。
【００９８】
マッチング部１４は、上述のようにして構成した単語モデルに基づき、特徴量記憶部１２から読み出した特徴量系列を用いて単語予備選択部１３からの単語の音響スコアを計算する。マッチング部１４は、単語接続情報を参照することにより、単語の音響スコアの計算をクロスワードモデルに基づいて行うようにすることが可能である。
【００９９】
さらに、マッチング部１４は、文法データベース１９Ｂを参照することで、単語予備選択部１３からの単語の言語スコアを計算する。即ち、マッチング部１４は、例えば、単語接続情報を参照することにより、単語予備選択部１３からの単語の直前の単語と、さらにその前の単語を認識し、トライグラムに基づく確率から単語予備選択部１３からの単語の言語スコアを求める。
【０１００】
マッチング部１４は、以上のようにして、単語予備選択部１３からのＬ個の単語と、特定単語のすべて（以下、適宜、これらをまとめて、選択単語という）についてその音響スコア及び言語スコアを求め、ステップＳ６に進む。ステップＳ６では、選択単語それぞれについてその音響スコア及び言語スコアを総合評価した単語スコアが求められ、その単語スコアに基づいて単語接続情報記憶部１６に記憶された単語接続情報が更新される。
【０１０１】
即ち、ステップＳ６では、マッチング部１４は、選択単語について単語スコアを求め、例えば、その単語スコアを所定の閾値と比較すること等によって、注目ノードに接続するアークとしての単語を選択単語の中から絞り込む。マッチング部１４は、その絞り込みの結果残った単語を、その音響スコア、言語スコア及びその単語の終了時刻とともに、制御部１１に供給する。
【０１０２】
なお、単語の終了時刻は、音響スコアを計算するのに用いた特徴量の抽出時刻から認識される。また、ある単語について、その終了時刻としての蓋然性の高い抽出時刻が複数得られた場合には、その単語については、各終了時刻と、対応する音響スコア及び言語スコアとのセットが、制御部１１に供給される。
【０１０３】
制御部１１は、上述のようにしてマッチング部１４から供給される単語の音響スコア、言語スコア、及び終了時刻を受信すると、マッチング部１４からの各単語について、単語接続情報記憶部１６に記憶された単語接続情報（図３）における注目ノードを始端ノードとして、アークを延ばし、そのアークを、終了時刻の位置に対応する終端ノードに接続する。さらに、制御部１１は、各アークに対して、対応する単語、並びにその音響スコア及び言語スコアを付与するとともに、各アークの終端ノードに対して、対応する終了時刻を時刻情報として与える。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【０１０４】
以上のように、単語接続情報は、マッチング部１４の処理結果に基づいて、逐次更新されるので、単語予備選択部１３及びマッチング部１４は、常時、最新の単語接続情報を利用して処理を行うことが可能となる。
なお、制御部１１は、単語接続情報を更新する際に、可能であれば、上述したような終端ノードの共通化を行う。
【０１０５】
一方、ステップＳ２において、途中ノードが存在しないと判定された場合、ステップＳ７に進み、制御部１１は、単語接続情報を参照することで、その単語接続情報として構成された各パスについて単語スコアを累積することで、最終スコアを求め、例えば、その最終スコアが最も大きいパスを構成するアークに対応する単語列をユーザの発話に対する音声認識結果として出力して処理を終了する。
【０１０６】
以上のように、単語予備選択部１３において、音響的な特徴量から計算される音響スコアを含む単語スコアに基づいて音声認識結果として確からしい単語を選択する他、例えば、日本語の助詞や助動詞、英語の冠詞や前置詞、その他の音韻数が短い音響的な特徴量が不安定な単語を音響的な特徴量から計算される音響スコアとは関係ない尺度に基づいて選択し、マッチング部１４において、それらの単語をマッチング処理の対象とするようにしたので、音響的な特徴量が不安定な単語が単語予備選択部１３で選択されないことによる音声認識精度の劣化を防止することができる。
【０１０７】
この場合、単語予備選択部１３において、単語を選択するときの枝刈り（絞り込み）の範囲を小さくしたり、精度の高い音響モデル及び文法規則を用いているわけではないので処理に必要なリソース（演算量やメモリ等）を極力低減することができる。
【０１０８】
また、音響的な特徴量が不安定な音韻数の短い単語が、必ずマッチング処理の対象とされるため、単語予備選択部１３において、音響スコアを含む単語スコアに基づいて選択される単語は、音響的な特徴量が比較的安定している音韻数の長い単語だけであっても良い。単語予備選択部１３では、より簡易な音響モデルや文法規則を用いても、正しい単語の選択漏れが生じないこととなり、その結果、単語予備選択部１３の処理に必要なリソースを低減しながら音声認識精度を向上させることができる。
【０１０９】
さらに、単語予備選択部１３において、音響スコアを含む単語スコアに基づいて選択される単語が、音響的な特徴量が比較的安定している音韻数の長い単語だけとなる場合には、単語を選択するときの音響的又は言語的な判断基準としてより厳しいものを用い、音響スコアや言語スコアに基づいて選択される単語の数を少なくしても正しい単語の選択漏れが生じないこととなり、その結果、マッチング部１４の処理に必要なリソースを低減しながら音声認識精度を向上させることができる。
【０１１０】
上述の場合には、単語予備選択部１３において、発話時間という尺度に基づいて、発話時間が短い単語をその音響スコアに関係なく選択するようにすることで、音響的な特徴量が不安定な単語が、単語予備選択部１３で選択されないことによる音声認識精度の劣化を防止するようにしたが、その他、単語予備選択部１３には、単語スコアに基づいて選択される単語とは別に、音響スコアとは関係がない尺度、即ち、音声の特徴量とは無関係の尺度である、例えば、言語スコアにのみ基づいて単語を選択させるようにすることができ、この場合もリソースを低減しながら音声認識精度を向上させることができる。
【０１１１】
即ち、単語予備選択部１３には、例えば、注目ノードに至るまでのパスの、注目ノード側のＮ−１単語の系列に接続する可能性の高い単語を、統計的な単語連鎖確率（Ｎ−ｇｒａｍ）に基づく文法規則から得られる言語スコアにのみ基づいて選択させることができる。この場合、特徴量から計算される音響スコアは考慮されずに単語が選択されることから、音響的な特徴量が不安定であることによって音響スコアが小さくなり、それに起因して単語スコアも小さくなってしまう単語が選択されないことによる音声認識精度の劣化を防止することができる。
【０１１２】
また、言語スコアの計算は、音響スコアの計算に比較して計算量が非常に少なくて済むことから、リソースの増加を最小限に抑えることができる。
【０１１３】
上述のように、統計的な単語連鎖確率に基づく文法規則から得られる言語スコアのみに基づいて行う単語の選択は、文法データベース１９Ａにそのような文法規則を記憶させておくことで容易に行うことが可能である。
【０１１４】
次に、図５は、本発明に係る音声認識装置の他の例を示すブロック図であり、図２に示すものと共通する部分については、同一の符号を付して詳細な説明は省略する。即ち、図５の音声認識装置は、認識結果記憶部２１が新たに設けられている他は、図２の音声認識装置と共通する。
【０１１５】
認識結果記憶部２１には、制御部１１が出力する音声認識結果が供給されるようになっており、認識結果記憶部２１は、その音声認識結果を記憶する。なお、認識結果記憶部２１は、例えば、１つ又は複数の音声認識結果を記憶することができる分の記憶容量を有しており、また、その記憶容量の分だけ音声認識結果を記憶すると、次に供給される音声認識結果を、最も古い記憶値に上書きする形で記憶するようになっている。従って、認識結果記憶部２１では、最新の音声認識結果の履歴が記憶される。そして、認識結果記憶部２１に記憶された最新の音声認識結果の履歴は、単語予備選択部１３が参照することができるようになっている。
【０１１６】
次に、図６のフローチャートを参照して、図５の音声認識装置による音声認識処理について説明する。
【０１１７】
図５の音声認識装置は、ステップＳ１１乃至Ｓ１７において、基本的に、図４のステップＳ１乃至Ｓ７における場合とそれぞれ同様の処理を行う。
【０１１８】
ステップＳ１７において、制御部１１が、最終スコアが最も大きいパスを構成するアークに対応する単語列をユーザの発話に対する音声認識結果として出力した後は、ステップＳ１８に進み、制御部１１は、その音声認識結果を認識結果記憶部２１に供給して記憶させて処理を終了する。
【０１１９】
但し、ステップＳ１４では、単語予備選択部１３は、次のような単語予備選択処理を行う。
【０１２０】
即ち、単語予備選択部１３は、図４のステップＳ４における場合と同様に、注目ノードが有する時刻情報における開始時刻以降の必要な特徴量の系列を特徴量記憶部１２から読み出し、辞書データベース１８Ａの単語辞書に登録された各単語について、特徴量記憶部１２から読み出した特徴量の系列を用いて音響スコアを計算するとともに、文法データベース１９Ａに記憶された文法規則に基づいて言語スコアを計算し、その音響スコア及び言語スコアを総合評価した単語スコア（第１の尺度）を求める。単語予備選択部１３は、単語スコアが上位Ｌ位以内の単語をマッチング処理の対象とする単語としてマッチング部１４に供給する。
【０１２１】
単語予備選択部１３は、辞書データベース１８Ａに登録されている単語のうちの１以上を認識結果記憶部２１に記憶されているという尺度（第２の尺度）に基づいて選択してマッチング部１４に供給する。
【０１２２】
ユーザが過去に行った発話に含まれる単語は、経験的に、その後の発話において再度発話されることが多い。そこで、図５の単語予備選択部１３は、認識結果記憶部２１に記憶されている音声認識結果を構成する単語と同一の単語を、辞書データベース１８Ａから特定単語として選択し、マッチング処理の対象とする単語としてマッチング部１４に供給する。
【０１２３】
マッチング部１４は、単語予備選択部１３から単語スコアに基づいて選択されたＬ個の単語と、単語スコアに関係ない所定の条件（尺度）（ここでは、認識結果記憶部２１に記憶されているという尺度）に基づいて選択された特定単語を受信すると、ステップＳ１５において、それらの単語を対象としてマッチング処理を行う。
【０１２４】
この場合も、単語予備選択部１３において、音響スコアとは関係ない尺度に基づいて単語が選択されるので、例えば、環境雑音や回線雑音等に起因して音声の特徴量が大きな揺らぎを有し、そのような特徴量から計算される音響スコアを反映した単語スコアによっては選択されない単語であっても、精度の高い音響モデルを用いずに、マッチング処理の対象とされることになり、少ないリソースで音声認識精度を向上させることができる。
【０１２５】
なお、音声認識装置には、図５に点線で示すように、ユーザが、音声認識結果を修正するための入力を与えるときに操作するキーボード等の入力部２２をさらに設けることが可能である。この場合、制御部１１が出力した音声認識結果に対してユーザが入力部２２を操作することにより、その修正を行ったときには、制御部１１には、自身が出力した音声認識結果に替えて（あるいは、その音声認識結果とともに）、その修正された音声認識結果を認識結果記憶部２１に記憶させるようにすることができる。この場合においても、上述した場合と同様に、少ないリソースで音声認識精度を向上させることができる。
【０１２６】
上述した一連の処理は、ハードウェアにより行うこともでき、あるいは、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが汎用のコンピュータ等にインストールされる。
【０１２７】
図７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一例を示している。
【０１２８】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０１２９】
プログラムは、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１３０】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１３１】
コンピュータは、ＣＰＵ(Central Processing Unit)１０２を内蔵している。ＣＰＵ１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、ＣＰＵ１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイクロホン等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ＲＯＭ(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、又はドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、ＲＡＭ(Random Access Memory)１０４にロードして実行する。これにより、ＣＰＵ１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。ＣＰＵ１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、ＬＣＤ(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１３２】
ここで、本発明において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１３３】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１３４】
上述のように、単語予備選択部１３において、辞書データベース１８Ａに登録された単語群から、特徴量を用いて計算される単語スコアに基づいて単語を選択するとともに、単語スコアとは異なる尺度に基づいて発話時間の短い単語や、言語的に、直前に認識された単語に接続しやすい単語、過去の音声認識結果に含まれる単語をも選択し、その選択した単語をマッチング処理の対象とするようにしたので、単語予備選択処理にあたって、精度の高い音響モデルを用いなくても、所定の単語の選択漏れを防止することができ、その結果、必要なリソースの増加を極力抑えながら音声認識精度の劣化を防止することができる。
【０１３５】
さらに、マッチング処理の対象とする単語を、単語スコアとは異なる尺度、即ち、音声の特徴量を用いて計算される音響スコアに関係がなく、音声の特徴量の影響を受けない尺度に基づいて選択するようにしたので、例えば、雑音環境下において、その雑音の影響を受けることなく、マッチングの対象とする単語を選択することができ、音声認識装置の雑音耐性を向上させることができる。
【０１３６】
マッチング部１４でスコア計算の対象となる単語は、単語予備選択部１３においてあらかじめ選択されているから、マッチング部１４による各単語のスコア計算は、前述したような、音響スコアの計算の一部を共通化する木構造のネットワークを構成せずに、各単語ごとに独立して行うことができる。この場合、マッチング部１４において各単語についてのスコア計算を時分割で行うようにすることにより、その計算のために確保する必要のあるメモリ容量を小さく抑えることができる。
【０１３７】
マッチング部１４によるスコア計算は、各単語ごとに、時間的に独立して行うことができ、スコア計算に要するメモリ容量を使い回すことにより、必要とするメモリ容量を小さく抑えることができる。
【０１３８】
この場合、単語のスコア計算を開始するときに、その単語が、どの単語であるのかを同定することができるから、そのスコア計算の初期の段階で、言語スコアを適用して枝刈りを行うことが可能となり、その結果、前述したような、単語を同定することができないことによって無駄な計算が行われることを防止することができる。
【０１３９】
なお、図２や図５に示した音声認識装置は、例えば、音声によってデータベースの検索を行う場合や、各種の機器の操作を行う場合、各機器へのデータ入力を行う場合、音声対話システム等に適用可能である。より具体的には、例えば、音声による地名の問合せに対して、対応する地図情報を表示するデータベース検索装置や、音声による命令に対して、荷物の仕分けを行う産業用ロボット、キーボードの代わりに音声入力によりテキスト作成を行うディクテーションシステム、ユーザとの会話を行うロボットにおける対話システム等に適用可能である。
【０１４０】
また、単語予備選択部１３において、音韻数や品詞に基づいて選択される特定単語は、他の単語とは区別して、単語辞書に登録しておくことが可能である。
【０１４１】
さらに、上述の例では、単語予備選択部１３において、音響スコア及び言語スコアを総合評価した単語スコアに基づいてＬ個の単語を選択するようにしたが、Ｌ個の単語は、その他、例えば、音響スコアだけに基づいて選択することも可能である。
【０１４２】
また、マッチング処理の対象とする単語を音響スコアが反映された単語スコアとは異なる尺度に基づいて選択する場合においては、その尺度として、複数の尺度を用いることが可能であり、これにより、例えば、発話時間の短い単語と、過去の音声認識結果に含まれる単語の両方を、必ず、マッチング処理の対象とする単語とすること等が可能である。
【０１４３】
【発明の効果】
本発明は、音声認識の対象とする単語群から、１以上の第１の単語が、特徴量を用いて計算される第１の尺度に基づいて選択されるとともに、１以上の第２の単語が、第１の尺度とは異なる第２の尺度に基づいて選択され、その選択された第１及び第２の単語について、スコアが計算されるので、第２の単語が第１の尺度に基づいて選択されないことによる音声認識精度を劣化を防止することができる。
【図面の簡単な説明】
図１は、従来の音声認識装置の一例を示すブロック図である。
図２は、本発明に係る音声認識装置の一例を示すブロック図である。
図３は、単語接続情報を説明するための図である。
図４は、音声認識装置の処理を説明するためのフローチャートである。
図５は、本発明に係る音声認識装置の他の例を示すブロック図である。
図６は、音声認識装置の処理を説明するためのフローチャートである。
図７は、本発明を適用したコンピュータの一例を示すブロック図である。
【図１】
0004802434.tif 000002
【図２】
0004802434.tif 000003
【図３】
0004802434.tif 000004
【図４】
0004802434.tif 000005
【図５】
0004802434.tif 000006
【図６】
0004802434.tif 000007
【図７】
0004802434.tif 000008