1(57)【特許請求の範囲】【請求項１】 所定の話者の発声音声文を書き下した学
習用テキストデータに基づいて、すべての語彙を品詞毎にクラスタリングされた品詞クラスに分類し、それらの品詞クラス間のバイグラムを初期状態の統計的言語モデルとして生成する生成手段と、上記生成手段によって生成された初期状態の統計的言語
モデルに基づいて、単語の品詞クラスからの分離することができる第１の分離クラス候補と、１つの単語と１つの単語との結合、１つの単語と複数の単語の単語列との 10結合、複数の単語の単語列と１つの単語との結合、複数の単語の単語列と、複数の単語の単語列との結合とを含
む連接単語又は連接単語列の結合によって単語の品詞クラスから分離することができる第２の分離クラス候補とを検索する検索手段と、

2
上記検索手段によって検索された第１と第２の分離クラス候補に対して、次単語の予測の難易度を表わす所定のエントロピーを用いて、クラスを分離することによる当該エントロピーの減少量を計算する計算手段と、
上記計算手段によって計算された上記第１と第２の分離クラス候補に対するエントロピーの減少量の中で最大のクラス分離を選択して、選択されたクラスの分離を実行することにより、品詞のバイグラムと可変長Ｎの単語のＮ−グラムとを含む統計的言語モデルを生成する分離手
段と、上記分離手段によって生成された統計的言語モデルのクラス数が所定のクラス数になるまで、上記分離手段によって生成された統計的言語モデルを処理対象モデルとして、上記検索手段の処理と、上記計算手段の処理と、上記分離手段の処理とを繰り返すことにより、所定のクラ

(2)3ス数を有する統計的言語モデルを生成する制御手段とを備えたことを特徴とする統計的言語モデル生成装置。
【請求項２】 入力される発声音声文の音声信号に基づいて、所定の統計的言語モデルを用いて音声認識する音
声認識手段を備えた音声認識装置において、
上記音声認識手段は、品詞のバイグラムと可変長Ｎの単語のＮ−グラムとを含む統計的言語モデルを用いて音声認識することを特徴とする音声認識装置。
【請求項３】 上記統計的言語モデルは、請求項１記載の統計的言語モデル生成装置によって生成されたことを特徴とする音声認識装置。
【請求項４】 入力される発声音声文の音声信号に基づいて上記発声音声文の単語仮説を検出し尤度を計算する
ことにより、連続的に音声認識する音声認識手段を備えた連続音声認識装置において、
上記音声認識手段は、請求項１記載の統計的言語モデル
生成装置によって生成された統計的言語モデルを参照して、終了時刻が等しく開始時刻が異なる同一の単語の単語仮説に対して、当該単語の先頭音素環境毎に、発声開始時刻から当該単語の終了時刻に至る計算された総尤度のうちの最も高い尤度を有する１つの単語仮説で代表させるように単語仮説の絞り込みを行うことを特徴とする
連続音声認識装置。
【発明の詳細な説明】【０００１】【発明の属する技術分野】本発明は、学習用テキストデータに基づいて統計的言語モデルを生成する統計的言語
モデル生成装置、及び上記統計的言語モデルを用いて、入力される発声音声文の音声信号を音声認識する音声認識装置に関する。
【０００２】【従来の技術】近年、連続音声認識装置において、その性能を高めるために言語モデルを用いる方法が研究されている。これは、言語モデルを用いて、次単語を予測し探索空間を削減することにより、認識率の向上および計
算時間の削減の効果を狙ったものである。最近盛んに用いられている言語モデルとしてＮ−グラム（Ｎ−ｇｒａｍ）がある。これは、大規模なテキストデータを学習
し、直前のＮ−１個の単語から次の単語への遷移確率をL
統計的に与えるものである。複数Ｌ個の単語列ｗ1 ＝ｗ
L
1 ，ｗ2 ，…，ｗL の生成確率Ｐ（ｗ1 ）は次式で表される。
【０００３】
【数１】

L

10

20

30

40

【０００４】ここで、ｗt は単語列ｗ1 のうちｔ番目のj
１つの単語を表し、ｗi はｉ番目からｊ番目の単語列を 50

特許２８８６１２１4
表わす。上記数１において、確率Ｐ（ｗt ｜t‑1
t‑1
ｗt+1‑N）は、Ｎ個の単語からなる単語列ｗt+1‑Nが発声された後に単語ｗt が発声される確率であり、以下同様に、確率Ｐ（Ａ｜Ｂ）は単語又は単語列Ｂが発声された後に単語Ａが発声される確率を意味する。また、数１における「Π」はｔ＝１からＬまでの確率Ｐ（ｗtt‑1｜ｗt+1‑N）の積を意味し、以下同様である。
【０００５】Ｎ−グラムは極めて単純なものでありながら、構築の容易さ、統計的音響モデルとの相性の良さ、認識率向上や計算時間の短縮の効果が大きい等の理由
で、連続音声認識には非常に有効である（例えば、従来
文献１「Ｌ．Ｒ．Ｂａｈｌほか， Ａ Ｍａｘｉｍｕｍ
Ｌｉｋｅｌｉｈｏｏｄ Ａｐｐｒｏａｃｈ ｔｏ Ｃ
ｏｎｔｉｎｕｏｕｓ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔ
ｉｏｎ ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ
Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｐｐ．１７９−
１９０，１９８３年」、従来文献２「Ｐ．Ｃ．Ｗｏｏｄ
ｌａｎｄほか， ＴＨＥ １９９４ ＨＴＫ Ｌａｒｇｅ Ｖｏｃａｂｕｌａｒｙ Ｓｐｅｅｃｈ Ｒｅｃｏｇ
ｎｉｔｉｏｎ Ｓｙｓｔｅｍ ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＡＳＳＰ９５ ，Ｖｏｌ．１，ｐｐ．７
３−７６，１９９５年」、従来文献３「村上ほか， 単語のｔｒｉｇｒａｍを利用した文音声認識と自由発話認識への拡張 ，電子情報通信学会技術研究報告，ＳＰ９
３−１２７，ｐｐ７１−７８，平成６年」参照。）。
【０００６】一般に、Ｎ−グラムの言語モデルは、Ｎを大きくすると長い単語連鎖を取り扱うことにより次単語の精度は高くなるが、パラメータ数が多くなり、学習データ量が少ない場合は出現頻度の低い単語に信頼できる遷移確率を与えることはできない。例えば語彙数が５，０００語のとき、トライグラム（ｔｒｉｇｒａｍ）（Ｎ3＝３）の全ての単語の遷移組は（５，０００） ＝１，
２５０億であるから、信頼できる遷移確率を求めるためには、数千億単語以上からなる膨大なテキストデータが必要となる。これだけの膨大なテキストデータを集めるのは事実上不可能である。逆に、Ｎを小さくすると、遷
移確率の信頼性は高くなるが、短い単語連鎖しか取り扱うことができず、次単語の予測精度は低くなる。
【０００７】【発明が解決しようとする課題】この問題を解決するた
め、次のような方法が提案されている。
（１）補間による未学習遷移確率の推定方法
この方法は、例えば、Ｄｅｌｅｔｅｄ Ｉｎｔｅｒｐｏ
ｌａｔｉｏｎ（削除補間法）（例えば、従来文献４「Ｆ．Ｊｅｌｉｎｅｋほか， Ｉｎｔｅｒｐｏｌａｔｅ
ｄ ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｍａｒｋｏｖ Ｓｏ
ｕｒｃｅ Ｐａｒａｍｅｔｅｒｓ ｆｒｏｍ Ｓｐａｒｓｅ Ｄａｔａ ，Ｐｒｏｃｅｅｄｉｎｇｓｏｆ Ｗｏ
ｒｋｓｈｏｐ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏ

(3)特許２８８６１２１

5
6
ｎ ｉｎＰｒａｃｔｉｃｅ，ｐｐ．３８１−３７，１９＊ 【０００８】（２）クラスＮ−グラムによるパラメータ
８０年」参照。）や、Ｂａｃｋ−ｏｆｆ Ｓｍｏｏｔｈ
数の削減方法
ｉｎｇ法（従来文献５「Ｓ．Ｍ．Ｋａｔｚ， Ｅｓｔｉ
この方法は、相互情報量に基づくクラスタリング（例えｍａｔｉｏｎ ｏｆ Ｐｒｏｂａｂｉｌｉｔｉｅｓ ｆば、従来文献６「Ｐ．Ｆ．Ｂｒｏｗｎほか， Ｃｌａｓｒｏｍ Ｓｐａｒｓｅ Ｄａｔａ ｆｏｒ ｔｈｅ Ｌｓ−Ｂａｓｅｄ ｎ−ｇｒａｍ ｍｏｄｅｌｓｏｆ ｎａｎｇｕａｇｅ ｍｏｄｅｌ Ｃｏｍｐｏｎｅｎｔｏｆ
ａｔｕｒａｌ ｌａｎｇｕａｇｅ ，Ｃｏｍｐｕｔａｔａ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｚｅｒ ，ＩＥＥ
ｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ，Ｖｏｌ．１８，Ｎ
Ｅ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ａｃｏｕｓｔｉｃ
ｏ．４，ｐｐ４６７−４７９，１９９２年」参照。）
ｓ， Ｓｐｅｅｃｈ， ａｎｄ Ｓｉｇｎａｌ Ｐｒｏ
や、品詞（従来文献７「周ほか， 確率モデルによる日
ｃｅｓｓｉｎｇ，Ｖｏｌ．ＡＳＳＰ−３５，Ｎｏ．３， 10 本語の大語彙連続音声認識 ，情報処理学会，第５１回
ｐｐ．４００−４０１，１９８７年３月」参照。）等に全国大会講演論文集，ｐｐ１１９−１２０，平成７年」
代表される方法で、小さいＮのＮ−グラム（Ｎ−ｇｒａ参照。）等によるクラス間のＮ−グラムを考えたものLｍ）の値で遷移確率を補間することにより、学習用テキで、Ｌ個の単語の文生成確率Ｐ（ｗ1 ）は一般に次式でストデータには存在しない単語遷移に対しても、遷移確表される。
率を与えることができる。しかしながら、出現頻度の低【０００９】
い単語に関しては信頼できる遷移確率を与えられない恐
【数２】
れがある。
＊

【００１０】ここで、ｃt は単語ｗt の属するクラスを表j
し、ｃi はｉ番目からｊ番目のクラス列を表わす。上記
t+1
数２で、Ｐ（ｃt ｜ｃt‑N+1）は、直前の（Ｎ−１）
個の単語の属するクラスから次の単語の属するクラスへの遷移確率を表す。クラス数が５０のとき、トライグラ
3
ムの全てのクラス間の遷移の組は５０ ＝１２５，０００であるから、数十万単語程度と単語Ｎ−グラムに比べてかなり小規模なテキストデータで遷移確率が求められると考えられる。しかしながら、単語間の特有な連接関 30係を表現することができないので、次単語の予測精度は悪くなると考えられる。
【００１１】本発明の目的は以上の問題点を解決し、従来例に比較して遷移確率の予測精度及び信頼性を改善することができる統計的言語モデルを生成することができ
る統計的言語モデル生成装置、及び、当該統計的言語モデルを用いて従来例に比較して高い音声認識率で音声認識することができる音声認識装置を提供することにある。
【００１２】
40【課題を解決するための手段】本発明に係る請求項１記載の統計的言語モデル生成装置は、所定の話者の発声音
声文を書き下した学習用テキストデータに基づいて、す
べての語彙を品詞毎にクラスタリングされた品詞クラスに分類し、それらの品詞クラス間のバイグラムを初期状態の統計的言語モデルとして生成する生成手段と、上記生成手段によって生成された初期状態の統計的言語モデルに基づいて、単語の品詞クラスからの分離することができる第１の分離クラス候補と、１つの単語と１つの単語との結合、１つの単語と複数の単語の単語列との結50

合、複数の単語の単語列と１つの単語との結合、複数の単語の単語列と、複数の単語の単語列との結合とを含む
連接単語又は連接単語列の結合によって単語の品詞クラスから分離することができる第２の分離クラス候補とを検索する検索手段と、上記検索手段によって検索された
第１と第２の分離クラス候補に対して、次単語の予測の難易度を表わす所定のエントロピーを用いて、クラスを分離することによる当該エントロピーの減少量を計算す
る計算手段と、上記計算手段によって計算された上記第１と第２の分離クラス候補に対するエントロピーの減少
量の中で最大のクラス分離を選択して、選択されたクラスの分離を実行することにより、品詞のバイグラムと可変長Ｎの単語のＮ−グラムとを含む統計的言語モデルを生成する分離手段と、上記分離手段によって生成された
統計的言語モデルのクラス数が所定のクラス数になるまで、上記分離手段によって生成された統計的言語モデル
を処理対象モデルとして、上記検索手段の処理と、上記計算手段の処理と、上記分離手段の処理とを繰り返すことにより、所定のクラス数を有する統計的言語モデルを生成する制御手段とを備えたことを特徴とする。
【００１３】本発明に係る請求項２記載の音声認識装置
は、入力される発声音声文の音声信号に基づいて、所定の統計的言語モデルを用いて音声認識する音声認識手段を備えた音声認識装置において、上記音声認識手段は、品詞のバイグラムと可変長Ｎの単語のＮ−グラムとを含む統計的言語モデルを用いて音声認識することを特徴とする。
【００１４】また、請求項３記載の音声認識装置においては、上記統計的言語モデルは、請求項１記載の統計的(4)7言語モデル生成装置によって生成されたことを特徴とする。
【００１５】本発明に係る請求項４記載の連続音声認識
装置は、入力される発声音声文の音声信号に基づいて上記発声音声文の単語仮説を検出し尤度を計算することにより、連続的に音声認識する音声認識手段を備えた連続音声認識装置において、上記音声認識手段は、請求項１
記載の統計的言語モデル生成装置によって生成された統計的言語モデルを参照して、終了時刻が等しく開始時刻が異なる同一の単語の単語仮説に対して、当該単語の先
頭音素環境毎に、発声開始時刻から当該単語の終了時刻に至る計算された総尤度のうちの最も高い尤度を有する
１つの単語仮説で代表させるように単語仮説の絞り込みを行うことを特徴とする。
【００１６】【発明の実施の形態】以下、図面を参照して本発明に係る実施形態について説明する。図１に本発明に係る一実
施形態の連続音声認識装置のブロック図を示す。本実施
形態の連続音声認識装置は、公知のワン−パス・ビタビ
復号化法を用いて、入力される発声音声文の音声信号の特徴パラメータに基づいて上記発声音声文の単語仮説を検出し尤度を計算して出力する単語照合部４を備えた連
続音声認識装置において、単語照合部４からバッファメ
モリ５を介して出力される、終了時刻が等しく開始時刻が異なる同一の単語の単語仮説に対して、統計的言語モデル２２を参照して、当該単語の先頭音素環境毎に、発声開始時刻から当該単語の終了時刻に至る計算された総尤度のうちの最も高い尤度を有する１つの単語仮説で代表させるように単語仮説の絞り込みを行う単語仮説絞込部６を備えたことを特徴とする。
【００１７】ここで用いる統計的言語モデル２２は、学習用テキストデータに基づいて言語モデル生成部２０により生成されたものであって、統計的言語モデル２２は、品詞クラス間のバイグラム（Ｎ＝２）を基本としたものであるが、単独で信頼できる単語は品詞クラスより分離させ、単独のクラスとして取り扱い、さらに、予測精度を向上させるため、頻出単語列に関してはそれらの単語を結合して一つのクラスとして取り扱い、長い単語連鎖の表現を可能にさせ、こうして、生成されたモデル
は、品詞バイグラムと可変長単語Ｎ−グラムとの特徴を併せ持つ統計的言語モデルとなり、遷移確率の精度と信頼性とのバランスをとられたものであることを特徴とする。
【００１８】まず、本実施形態において用いる可変長Ｎ−グラムの概念について以下に説明する。Ｎ−グラム
は、（Ｎ−１）重のマルコフモデルであり、これは、過去（Ｎ−１）回の状態遷移を記憶するように単純（１重）マルコフモデルの各状態が分離されたものと解釈される。例として、図３にバイグラムをマルコフモデルとして図式化した状態遷移図を示し、図４にトライグラム

10

20

30

40

50

特許２８８６１２１
8をマルコフモデルとして図式化した状態遷移図を示す。
【００１９】図３においては、状態ｓ1 においてシンボルａを出力されたとき状態ｓ1 のままであるが、状態ｓ1
でシンボルｂを出力した状態ｓ2 に遷移する。状態ｓ2 でシンボルｂを出力したときは状態ｓ2 のままであるが、状態ｓ2 でシンボルａを出力したとき状態ｓ1 に戻る。図
４のトライグラムは、バイグラムの状態ｓ1 を状態ｓ11と状態ｓ12 とに分離しかつ、状態ｓ2 を状態ｓ21 と状態
ｓ22 とに分離したものと考えられる。さらに、全ての状態の分離を進めることにより、より高次のＮ−グラムとなる。
【００２０】図５に示す可変長Ｎ−グラムは、単純マルコフモデルの状態を部分的に分離させたものである。すなわち、図３のバイグラムにおいて、状態ｓ2 から、シンボルａが出力される際に、続けてシンボルｂを出力する場合（これをａｂと表わし、シンボルａｂを出力するという。）、続けてｂ以外のシンボルを出力する場合（これをａ（／ｂ）と表し、シンボルａ（／ｂ）を出力するという。ここで、／は否定の意味を表しバー（上線）である。）とに分け、前者の場合、状態ｓ1 から状
態ｓ12 に遷移させる一方、後者の場合、状態ｓ2 から状
態ｓ11 に遷移させる。すなわち、前者の場合において、
状態ｓ1 から状態ｓ12 へと分離させ、シンボルａを出力する残りの遷移（ａ（／ｂ））を状態ｓ11 に残したものである。なお、このモデルにおいて、状態ｓ11 でシンボ
ルａｂを出力したとき状態ｓ12 に遷移する一方、状態ｓ
11 でシンボルａ（／ｂ）を出力したとき状態ｓ11 のままである。また、状態ｓ12 でシンボルａｂを出力したとき
状態ｓ12 のままである一方、状態ｓ12 でシンボルａ（／ｂ）を出力したとき状態ｓ11 に遷移する。
【００２１】このモデルは、複数の連続したシンボルを
新しいシンボルとみなすことで、単純マルコフモデルの構造のまま、長い連鎖を表すことができるという特徴がある。同様の状態分離を繰り返すことで、局所的にさらに長い連鎖を表すことができる。これが可変長Ｎ−グラムである。すなわち、シンボルを単語とみなした言語モ
デルとしての可変長単語Ｎ−グラムは、単語列（１単語も含む）間のバイグラムと表される。
【００２２】次いで、可変長Ｎ−グラムの動作について説明する。本実施形態で用いる統計的言語モデル２２は、品詞クラスと単語との可変長Ｎ−グラムであり、次の３種類のクラス間のバイグラムとして表現する。
（１）品詞クラス（以下、第１のクラスという。）、（２）品詞クラスから分離した単語のクラス（以下、第２のクラスという。）、及び、（３）連接単語が結合してできたクラス（以下、第３のクラスという。）。
【００２３】上記第１のクラスに属する単語は、主として出現頻度の小さいもので、単語単独で取り扱うよりも遷移確率の信頼性が高められる。また、第２のクラスに属する単語は、主として出現頻度が高いもので、単独で(5)

特許２８８６１２１

9
10取り扱っても十分な信頼性があり、さらに、連接単語が＊ 考えない。複数Ｌ個の単語からなる文の生成確率Ｐ（ｗL
結合して上記第３のクラスに分類されることにより、可
1 ）は、次式で与えられる。
変長Ｎ−グラムとして動作し、次単語の予測精度が高め【００２４】られる。ただし、本実施形態において、連接する品詞ク【数３】
ラスと品詞クラス、および、品詞クラスと単語の結合は＊【００２５】ここで、ｗｓt は文章を上記のクラスに分 10※ ここで、例として、次の７単語からなる発声音声文の文
類した時の、ｔ番目の単語列（単独の単語も含める）を章を考える。
意味する。従って、Ｐ（ｗｓt ｜ｃt ）は、ｔ番目のクラ【００２６】
スがわかったときに単語列ｗｓt が出現する確率であ【数４】「わたくし−村山−と−言−い−ま−す」Lり、Ｐ（ｃt ｜ｃt‑1 ）は１つ前の（ｔ−１）番目のクラ【００２７】この文章の生成確率Ｐ（ｗ1 ）は、数３をスから当該ｔ番目のクラスの単語が出現する確率であ用いて、次の式で与えられる。
る。また、文章のＫは単語列の個数を表し、Ｋ≦Ｌであ【００２８】る。従って、数３のΠはｔ＝１からＫまでの積である。※【数５】
L
Ｐ（ｗ1 ）＝Ｐ（わたくし｜｛わたくし｝）・Ｐ（｛わたくし｝）・Ｐ（村山｜＜固有名詞＞）・Ｐ（＜固有名詞＞｜｛わたくし｝）・Ｐ（と｜｛と｝）・Ｐ（｛と｝｜＜固有名詞＞）
・Ｐ（言います｜［言います］）・Ｐ（［言います］｜｛と｝）【００２９】ただし、＜＞，｛｝，［］はそれぞれ、第★ （３）「言います」は動詞と、動詞の接尾辞と、助動詞１のクラス、第２のクラス、第３のクラスに属していると、助動詞の接尾辞との組み合わせであり、第３のクラことを表す。ただし、各単語および単語列は次のようにスに属する。ここで、第２と第３のクラスにおいて、単属している。
語とクラスの出現頻度は等しいので、Ｐ（わたくし｜（１）「村山」は固有名詞なので、第１のクラスに属す｛わたくし｝）＝１、Ｐ（と｜｛と｝）＝１、Ｐ（言いる。
ます｜［言います］）＝１であり、従って、上記数５は（２）「わたくし」、「と」はそれぞれ、名詞から分離
次の式のようになる。
した単語、助詞から分離した単語であり、第２のクラス【００３０】に属する。
★30 【数６】
L
Ｐ（ｗ1 ）＝Ｐ（わたくし）・Ｐ（村山｜＜固有名詞＞）・Ｐ（＜固有名詞＞｜わたくし）・Ｐ（と｜＜固有名詞＞）
・Ｐ（言います｜と）【００３１】次いで、本実施形態で用いる可変長Ｎ−グ☆ 「あいまいさ」の尺度を表わすものであり、言語モデル
ラムである統計的言語モデル２２を生成するための言語
において、エントロピーが小さいことは、言語としてあモデル生成処理について参照して説明する。本実施形態
いまいさが小さく、次の単語の予測が容易であることをで用いる統計的言語モデル２２は、品詞クラスのバイグ意味する。すなわち、エントロピーは次単語の予測の難ラムを初期状態とし、エントロピーの最小化の基準によ易度を表わす。ｙという条件のもとでのｘの確率である
るクラス分離という形で生成される。エントロピーの減 40 条件付き確率Ｐ（ｘ｜ｙ）のエントロピーＨ（Ｘ｜Ｙ）
少は正になることが保証されており、クラス分離によっは次式で表される。
て、学習用テキストデータに関してエントロピーは単調【００３２】に減少する。ここで用いるエントロピーは、一般には、☆
【数７】
Ｈ（Ｘ｜Ｙ）＝−ΣＰ（ｙ）ΣＰ（ｘ｜ｙ）ｌｏｇ2 Ｐ（ｘ｜ｙ）
【００３３】従って、上記数７に基づいて、本実施形態【００３４】
で用いるエントロピーは次式で計算される。
【数８】

(6)
11

特許２８８６１２１
12

ここで、ｗk ∈ｃj＊ 味するところは、例えば、名詞のクラスｃξ は、「机」【００３５】図６は、言語モデル生成部２０によって実という単語ｗx のクラス｛ｗx ｝と、「机」という単語ｗ
行される言語モデル生成処理の詳細を示すフローチャー
x のクラス｛ｗx ｝をクラスｃξ から除いたクラスとに分トであり、以下、図６を参照して当該処理について説明 10 離することを意味する。
する。まず、ステップＳ１では、所定の話者の発声音声【００３９】後者の連接単語又は連接単語列の結合によ文を書き下した学習用テキストデータに含まれる全語彙
るクラス分離においては、既に初期クラスより分離されを品詞クラス（ここで、品詞クラスとは、品詞毎にクラている単語クラス及び単語列クラスについて、連接したスタリングされたクラスをいう。）に分類し、それらの２クラス間の結合を考える。結合した単語列は、その単クラス間のバイグラムを初期状態の統計的言語モデルと語列で単独のクラスを形成する。
する。次いで、次のステップＳ２乃至Ｓ４でクラスの分【００４０】
離を行う。すなわち、ステップＳ２で、クラス分離する【数１０】｛ｗx ｝→｛ｗx ，ｗy ｝＋｛ｗx ，／ｗy ｝
ことが可能な分離クラス候補を検索することによりリス【００４１】ここで、｛ｗx ，ｗy ｝は連接単語列ｗx ，トアップを行う。ここでは、次の２種類のクラス分離を
ｗy のクラスを表し、｛ｗx ，／ｗy ｝は単語ｗx の次に単考える。
20 語ｗy が後続しない単語ｗx のクラスを表わす。すなわ（１）単語の品詞クラスからの分離（以下、第１のクラち、／ｗy は単語ｗy 以外の単語を表わす。数１０の意味
ス分離という。）、（２）連接単語又は連接単語列の結するところは、例えば、「机」という単語のクラス｛ｗ
合によるクラス分離（以下、第２のクラス分離といx ｝は、「机の」という単語列のクラス｛ｗx ，ｗy ｝う。）。ここで、連接単語又は連接単語列の結合とは、と、「机の」以外の例えば「机は」、「机が」などの単連接する（時間的に隣接して入力される）１つの単語と語列のクラス｛ｗx ，／ｗy ｝とに分離することを意味す１つの単語との結合、１つの単語と複数の単語の単語列る。上記数１０は、単語の結合に関する式であるが、単との結合、複数の単語の単語列と１つの単語との結合、語列と単語の結合、および、単語列と単語列との結合も複数の単語の単語列と、複数の単語の単語列との結合と同様に表される。従って、第２のクラス分離では、これを含む。
らのクラス分離を含む。
【００３６】前者の単語の品詞クラスからの分離におい 30 【００４２】次いで、ステップＳ３で、ステップＳ２でては、当初品詞クラスに属している単語が、そのクラス
リストアップされた上記第１と第２の分離クラス候補にから分離し、分離した単語は、その単語で単独のクラス
対して次の数１１及び数１２を用いてエントロピー減少を形成する。
量を計算する。ここで、上記第１のクラス分離である初【００３７】
期クラスの分離に対して数１１を用いる一方、上記第２【数９】ｃξ →｛ｗx ｝＋ｃξ ＼｛ｗx ｝のクラス分離である連接単語又は連接単語列の結合によ
ここで、ｗx ∈ｃξ
るクラス分離に対して数１２を用いる。
【００３８】ここで、ｃξ ＼｛ｗx ｝はクラスｃξ から【００４３】
単語ｗx のクラスを除いたクラスであることを意味し、【数１１】
単語ｗx はクラスｃξ に属している。従って、数９の意 ＊ΔＨ＝Ｈ（｛ｃi ｝）−Ｈ（｛ｃi ＼ｃξ ｝＋｛ｗx ｝＋｛ｃξ ＼ｗx ｝）【数１２】
ΔＨ＝Ｈ（｛ｃi ｝）−Ｈ（｛ｃi ＼ｗx ｝＋｛ｗx ，ｗy ｝＋｛ｗx ，／ｗy ｝）【００４４】ここで、数１１及び数１２において、Ｈ
きのエントロピーの減少量である。また、数１２におい（｛ｃi ｝）は元のすべての品詞クラスｃi についてのエてＨ（｛ｃi ＼ｗx ｝＋｛ｗx ，ｗy ｝＋｛ｗx ，／ｗy ｝）
ントロピーであり、数１１においてＨ（｛ｃi ＼ｃξ ｝
は、元のすべての品詞クラスｃi から単語列｛ｗx ，＋｛ｗx ｝＋｛ｃξ ＼ｗx ｝）は元のすべての品詞クラス
ｗy ｝のクラスを分離したときのエントロピーであり、ｃi から単語ｗx のクラスを分離したときのエントロピー
数１２のΔＨは単語列｛ｗx ，ｗy ｝のクラスを分離したであり、数１１のΔＨは単語ｗx のクラスを分離したと 50 ときのエントロピーの減少量である。

(7)13【００４５】次いで、ステップＳ４においては、ステップＳ２でリストアップされたすべての分離クラス候補の中で、ステップＳ３で計算したエントロピー減少量ΔＨを最大にするクラスのみを実際にクラス分離する。そして、ステップＳ５で分離クラス数が所定のしきい値の所
望分離クラス数（例えば、５００、１０００など）以上になったか否かを判断し、なっていないときは、ステップＳ２に戻って上記の処理を繰り返す。一方、ステップ
Ｓ５で所望分離クラス数以上になっているときは、ステップＳ６で、得られた統計的言語モデル２２をメモリに格納した後、当該言語モデル生成処理を終了する。この言語モデル生成処理のアルゴリズムは、品詞間、および、品詞と単語間の結合は行なわないため、生成完了時
点では、品詞のバイグラムと可変長単語のＮ−グラムの特徴を併せた統計的言語モデル２２となる。
【００４６】図１において、単語照合部４に接続され、例えばハードディスクメモリに格納される音素ＨＭＭ１
１は、各状態を含んで表され、各状態はそれぞれ以下の情報を有する。
（ａ）状態番号（ｂ）受理可能なコンテキストクラス（ｃ）先行状態、及び後続状態のリスト（ｄ）出力確率密度分布のパラメータ（ｅ）自己遷移確率及び後続状態への遷移確率
なお、本実施形態において用いる音素ＨＭＭ１１は、各分布がどの話者に由来するかを特定する必要があるた
め、所定の話者混合ＨＭＭを変換して生成する。ここ
で、出力確率密度関数は３４次元の対角共分散行列をもつ混合ガウス分布である。
【００４７】また、単語照合部４に接続され、例えばハードディスクに格納される単語辞書１２は、音素ＨＭＭ１１の各単語毎にシンボルで表した読みを示すシンボル
列を格納する。
【００４８】図１において、話者の発声音声はマイクロ
ホン１に入力されて音声信号に変換された後、特徴抽出
部２に入力される。特徴抽出部２は、入力された音声信
号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対数パワー、１６次ケプストラム係数、Δ対数パワー及び
１６次Δケプストラム係数を含む３４次元の特徴パラメータを抽出する。抽出された特徴パラメータの時系列はバッファメモリ３を介して単語照合部４に入力される。
【００４９】単語照合部４は、ワン−パス・ビタビ復号化法を用いて、バッファメモリ３を介して入力される特徴パラメータのデータに基づいて、音素ＨＭＭ１１と単語辞書１２とを用いて単語仮説を検出し尤度を計算して出力する。ここで、単語照合部４は、各時刻の各ＨＭＭの状態毎に、単語内の尤度と発声開始からの尤度を計算する。尤度は、単語の識別番号、単語の開始時刻、先行
単語の違い毎に個別にもつ。また、計算処理量の削減のために、音素ＨＭＭ１１及び単語辞書１２とに基づいて

10

20

30

40

50

特許２８８６１２１
14計算される総尤度のうちの低い尤度のグリッド仮説を削減する。単語照合部４は、その結果の単語仮説と尤度の情報を発声開始時刻からの時間情報（具体的には、例えばフレーム番号）とともにバッファメモリ５を介して単語仮説絞込部６に出力する。
【００５０】単語仮説絞込部６は、単語照合部４からバッファメモリ５を介して出力される単語仮説に基づいて、統計的言語モデル２２を参照して、終了時刻が等し
く開始時刻が異なる同一の単語の単語仮説に対して、当該単語の先頭音素環境毎に、発声開始時刻から当該単語の終了時刻に至る計算された総尤度のうちの最も高い尤度を有する１つの単語仮説で代表させるように単語仮説の絞り込みを行った後、絞り込み後のすべての単語仮説の単語列のうち、最大の総尤度を有する仮説の単語列を認識結果として出力する。本実施形態においては、好ま
しくは、処理すべき当該単語の先頭音素環境とは、当該単語より先行する単語仮説の最終音素と、当該単語の単語仮説の最初の２つの音素とを含む３つの音素並びをいう。
【００５１】例えば、図２に示すように、（ｉ−１）番目の単語Ｗi‑1 の次に、音素列ａ1 ，ａ2 ，…，ａn からなるｉ番目の単語Ｗi がくるときに、単語Ｗi‑1 の単語仮説として６つの仮説Ｗａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅ，Ｗｆが存在している。ここで、前者３つの単語仮説Ｗａ，Ｗ
ｂ，Ｗｃの最終音素は／ｘ／であるとし、後者３つの単語仮説Ｗｄ，Ｗｅ，Ｗｆの最終音素は／ｙ／であるとする。終了時刻ｔe と先頭音素環境が等しい仮説（図２では先頭音素環境が ｘ／ａ1 ／ａ2 である上から３つの単語仮説）のうち総尤度が最も高い仮説（例えば、図２において１番上の仮説）以外を削除する。なお、上から４番めの仮説は先頭音素環境が違うため、すなわち、先行する単語仮説の最終音素がｘではなくｙであるので、上から４番めの仮説を削除しない。すなわち、先行する単語仮説の最終音素毎に１つのみ仮説を残す。図２の例
では、最終音素／ｘ／に対して１つの仮説を残し、最終
音素／ｙ／に対して１つの仮説を残す。
【００５２】以上の実施形態においては、当該単語の先
頭音素環境とは、当該単語より先行する単語仮説の最終
音素と、当該単語の単語仮説の最初の２つの音素とを含む３つの音素並びとして定義されているが、本発明はこれに限らず、先行する単語仮説の最終音素と、最終音素と連続する先行する単語仮説の少なくとも１つの音素とを含む先行単語仮説の音素列と、当該単語の単語仮説の最初の音素を含む音素列とを含む音素並びとしてもよい。
【００５３】以上の実施形態において、特徴抽出部２と、単語照合部４と、単語仮説絞込部６と、言語モデル
生成部２０とは、例えば、デジタル電子計算機で構成され、バッファメモリ３，５は例えばハードデイスクメモ
リで構成され、音素ＨＭＭ１１と単語辞書１２と学習用

(8)特許２８８６１２１

15
16
テキストデータ２１と統計的言語モデル２２とは、例え＊ シティを用いる。例えば、複数ｎ個の単語からなる長いnばハードデイスクメモリなどの記憶装置に記憶される。
単語列ｗ1 ＝ｗ1 ｗ2 …ｗn があるときのエントロピーＨ【００５４】以上実施形態においては、単語照合部４と（ｎ）は次式で表される。
単語仮説絞込部６とを用いて音声認識を行っているが、【００５６】
本発明はこれに限らず、例えば、音素ＨＭＭ１１を参照【数１３】nする音素照合部と、例えばＯｎｅ Ｐａｓｓ ＤＰアル
Ｈ（ｎ）＝−（１／ｎ）・ｌｏｇ2 Ｐ（ｗ1 ）nn
ゴリズムを用いて統計的言語モデル２２を参照して単語【００５７】ここで、Ｐ（ｗ1 ）は単語列ｗ1 の生成確の音声認識を行う音声認識部とで構成してもよい。
率であり、パープレキシティＰＰ（ｎ）は次式で表され【００５５】
る。
【実施例】本発明者は、本実施形態で用いる統計的言語 10 【００５８】
H(n)モデル２２の性能を確認するため、パープレキシティお【数１４】ＰＰ（ｎ）＝２
よびパラメータ数について従来の単語Ｎ−グラムとの比【００５９】ここで、単語列としてテスト用テキストデ較を行った。実験に用いたデータは本出願人が所有するータを用いたときのパープレキシティをテストセットパ
自然発話旅行会話データベース（従来文献８「Ｍｏｒｉープレキシティといい、単語列として学習用テキストデ
ｍｏｔｏほか， Ａ Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇータを用いたときのパープレキシティをトレーニングセ
ｕａｇｅ Ｄａｔａｂａｓｅ ｆｏｒ Ｓｐｅｅｃｈ
ットパープレキシティという。
Ｔｒａｎｓｌａｔｉｏｎ Ｒｅｓｅａｒｃｈ ，ＩＣＳ
【００６０】当該実験結果におけるテストセットパープ
ＬＰ，ｐｐ１７９１−１７９４，１９９４年」参照。）
レキシティの値の変化の様子を図７に示す。図７から明であって、８４６対話、３５４，７００語から構成され
らかなように、分離クラス数が増加するに従って、テスる。このうち、統計的言語モデル２２を生成するための 20 トセットパープレキシティは減少し、分離クラス数が２学習用テキストデータ（トレーニングセットともい
００で単語バイグラムと、分離クラス数が６００で単語う。）として、８２８対話、３４７，２９９語を使用
トライグラムと同程度の値となることが分かる。分離ク
し、残りのデータをテスト用テキストデータ（テストセ
ラス数が６００以上になると、パープレキシティの減少
ットともいう。）とした。本実施形態に係る統計的言語の割合が極端に小さくなるため、分離クラス６００程度
モデル２２は、初期クラスを活用形も含めた８０品詞とで、本実施形態の統計的言語モデル２２が最も有効に働
し、１０００個まで分離を行い、１００個おきにデータいていると考えられる。従って、本実施形態の統計的言を採取した。また、本実施形態に係る統計的言語モデル
語モデル２２は単語バイグラム以上、単語トライグラム
２２と、単語Ｎ−グラムとともに、未知単語遷移に対すと同程度の予測精度の言語モデルと考えられる。
る対策として、クラスおよび単語の遷移確率を削除補間【００６１】表１にまた、分離クラス数が０，５００，法（従来文献４参照。）によって補間し、テストセット 30 １０００の時のパープレキシティの値、およびパラメー
において、未知語が出現したときは、所定の固定値（例タ数を示す。
‑6
えば、７．０×１０ ）を与えた。ここで、本発明に係【００６２】
る統計的言語モデル２２を評価するために、パープレキ＊【表１】
各言語モデルの性能比較───────────────────────────────────
バイグラム トライグラム 本実施形態（分離クラス数）
０
５００
１０００
───────────────────────────────────
テストセット
20.31
16.96
41.68
17.61
16.75
パープレキシティ───────────────────────────────────
トレーニングセット 13.50
5.99
48.77
18.77
15.05
パープレキシティ───────────────────────────────────
7
11
4
5
6
パラメータ数(１) 4.10×10 2.62×10
1.28×10 3.43×10 1.17×10───────────────────────────────────パラメータ数(２）５２，２４４
１６５，１３９７，９９１
２７，８３０４３，０７５───────────────────────────────────
【００６３】ここで、パラメータ数（１）は全クラス
50 （単語）の遷移の組み合わせ数を意味し、パラメータ数

(9)特許２８８６１２１1718（２）は、トレーニングセットにおいて実際に存在する＊ と、本実施形態の統計的言語モデル２２（２００クラクラス（単語）遷移の組み合わせ数を意味する。表１よス）（カッコ内の数字は分離クラス数を表す、以下同様
り、本実施形態の統計的言語モデル２２は、テストセッ
である。）とは、ほぼ同じパープレキシティ値である
トとトレーニングセットとのパープレキシティの差が、が、学習単語数を減少させても当該統計的言語モデル２
単語バイグラム及び単語トライグラムと比較して非常に２のパープレキシティの増加は比較的小さく、単語バイ
小さいことが分かる。また、パラメータ数は、１０００
グラムよりも値が低くなることが分かる。同様に、単語クラス分離した時でも、単語バイグラムよりも少なく、
トライグラムと、当該統計的言語モデル２２（６００ク
単語トライグラムよりもはるかに少ない。したがって、ラス）とを比較しても、学習単語数が減少すると、当該本実施形態の統計的言語モデル２２は、与えられたパラ
統計的言語モデル２２の方が低いパープレキシティを呈
メータで言語特徴を効率的に表現できる優れた言語モデ 10 する。
ルであると言える。従って、当該統計的言語モデル２２【００６５】次いで、本発明者は、本実施形態の統計的は従来の単語バイグラム、単語トライグラムよりも信頼言語モデル２２を図１の連続音声認識装置に適用し、統性が高い言語モデルであると考えられる。
計的言語モデル２２の効果を確認した。音素認識の実験【００６４】また、本実施形態の統計的言語モデル２２
条件を表２に示す。また、音響をパラメータもあわせての信頼性を確認するため、学習単語数を変化させてテス
表２に示す。
トセットパープレキシティの値の変化を調べた結果を図【００６６】８に示す。この図８から明らかなように、全ての学習セ【表２】
ット（約３５万語）を用いたときは、単語バイグラム ＊実験条件───────────────────────────────────
分析条件 サンプリング周波数：１２ＫＨｚ，
ハミング窓：２０ｍｓ，
フレーム周期：１０ｍｓ───────────────────────────────────
使用パラメータ １６次ＬＰＣケプストラム＋１６次Δケプストラム＋ｌｏｇパワー＋Δｌｏｇパワー───────────────────────────────────
音響モデル ＨＭ網の男女別不特定話者モデル
４００状態，５混合───────────────────────────────────
【００６７】表２において、ＨＭ網の男女別不特定話者※ 計的言語モデル２２のトレーニングセット中の１６対話モデルについては、従来文献９「小坂ほか， 話者混合であり、学習に用いられていないテストセットは１８対ＳＳＳによる不特定話者音声認識 ，日本音響学会講演話である。各言語モデルで尤度１位の文認識候補の正解
論文集，２−５−９，ｐｐ１３５−１３６，平成４年」
単語含有率を表３に示す。
に開示されている。この実験では、単語グラフを用いた【００６８】
連続音声認識法を用いて音響モデルおよび言語モデルを【表３】
連続音声認識装置に適用した。また、認識の対象は、統※
正解単語含有率───────────────────────────────────
バイグラム
本実施形態（分離クラス数）０５００───────────────────────────────────
辞書サブセット テストセット
７１．４
６７．３
７２．２
トレーニンク゛セット
６９．４
６３．４
６９．７
───────────────────────────────────
辞書フルセット テストセット
−−
５７．１
５８．４
トレーニンク゛セット
−−
５４．６
５６．０
───────────────────────────────────
【００６９】表３において、辞書サブセットは認識対象 50 に含まれる単語のみを辞書に登録したもの（７５０

(10)
19
語）、辞書フルセットは、統計的言語モデルの生成のための学習に用いた全単語よりなる辞書（６，４００語）を表す。ただし、従来の単語バイグラムは、メモリ容量と計算時間の都合上で、辞書フルセットの辞書の認識は、今回の実験では計算を行なっていない。この場合は、言い換えれば、大容量のメモリと莫大な処理時間が必要である。
【００７０】テストセットに関しては、パープレキシテ
ィの低い順、すなわち本実施形態の統計的言語モデル２２（０クラス）→単語バイグラム→本実施形態の統計的言語モデル２２（５００クラス）の順で正解単語含有率が良くなっており、本実施形態の統計的言語モデル２２（５００クラス）は、単語のバイグラムよりも若干ではあるが正解単語含有率が向上している。トレーニングセ
ットに関しては、本実施形態の統計的言語モデル２２（５００クラス）は単語バイグラムよりも高いパープレ
キシティであるが、正解単語含有率は高くなっている。
また、本実施形態の統計的言語モデル２２はパラメータ数が少ないので、大語彙の認識への拡張が容易ある。したがって、本実施形態の統計的言語モデル２２は連続音声認識に対しても単語バイグラムより有効な言語モデル
であると考えられる。
【００７１】以上説明したように、Ｎ−グラムの精度・信頼性の向上を目的とした可変長Ｎ−グラムの統計的言語モデル２２の生成装置及びこれを用いた連続音声認識装置を実現することができる。当該統計的言語モデル２
２は、品詞バイグラムを初期状態とし、品詞クラスからの単語分離、および、連接単語の結合という、２種類の状態分離を行なうことにより生成されるもので、品詞バ
イグラムと可変長単語Ｎ−グラムの特徴を併せ持つモデルである。当該統計的言語モデル２２の評価実験の結果、当該統計的言語モデル２２は、単語バイグラム以
上、単語トライグラムと同等のパープレキシティを、はるかに少ないパラメータで実現できることが分かり、目的とした性能が実現されていることが確認できた。また、連続音声認識に適用した結果、単語バイグラムと同じ程度の正解単語含有率を得ることができた。当該統計
的言語モデル２２は少ないパラメータで実現できるため、大語彙の音声認識にも容易に拡張可能である。
【００７２】従って、遷移確率の予測精度及び信頼性を改善することができる統計的言語モデル２２を生成する
ことができる統計的言語モデル生成装置を提供することができるとともに、当該統計的言語モデル２２を用いてより高い音声認識率で連続的に音声認識することができる連続音声認識装置を提供することができる。
【００７３】【発明の効果】以上詳述したように本発明に係る請求項
１記載の統計的言語モデル生成装置によれば、所定の話者の発声音声文を書き下した学習用テキストデータに基づいて、すべての語彙を品詞毎にクラスタリングされた

10

20

30

40

50

特許２８８６１２１20
品詞クラスに分類し、それらの品詞クラス間のバイグラ
ムを初期状態の統計的言語モデルとして生成する生成手
段と、上記生成手段によって生成された初期状態の統計的言語モデルに基づいて、単語の品詞クラスからの分離
することができる第１の分離クラス候補と、１つの単語と１つの単語との結合、１つの単語と複数の単語の単語列との結合、複数の単語の単語列と１つの単語との結合、複数の単語の単語列と、複数の単語の単語列との結合とを含む連接単語又は連接単語列の結合によって単語の品詞クラスから分離することができる第２の分離クラス候補とを検索する検索手段と、上記検索手段によって検索された第１と第２の分離クラス候補に対して、次単語の予測の難易度を表わす所定のエントロピーを用いて、クラスを分離することによる当該エントロピーの減少量を計算する計算手段と、上記計算手段によって計算された上記第１と第２の分離クラス候補に対するエント
ロピーの減少量の中で最大のクラス分離を選択して、選択されたクラスの分離を実行することにより、品詞のバ
イグラムと可変長Ｎの単語のＮ−グラムとを含む統計的
言語モデルを生成する分離手段と、上記分離手段によって生成された統計的言語モデルのクラス数が所定のクラス数になるまで、上記分離手段によって生成された統計的言語モデルを処理対象モデルとして、上記検索手段の処理と、上記計算手段の処理と、上記分離手段の処理とを繰り返すことにより、所定のクラス数を有する統計的言語モデルを生成する制御手段とを備える。従って、遷移確率の予測精度及び信頼性を改善することができる統計的言語モデルを生成することができる。また、当該統計的言語モデルは少ないパラメータで実現できるため、大語彙の音声認識にも容易に拡張可能であるという特有の利点を有する。
【００７４】本発明に係る請求項２記載の音声認識装置
においては、入力される発声音声文の音声信号に基づいて、所定の統計的言語モデルを用いて音声認識する音声
認識手段を備えた音声認識装置において、上記音声認識
手段は、品詞のバイグラムと可変長Ｎの単語のＮ−グラムとを含む統計的言語モデルを用いて音声認識する。従って、遷移確率の予測精度及び信頼性を改善することができる統計的言語モデルを用いて音声認識するので、より高い音声認識率で音声認識することができる音声認識装置を提供することができる。
【００７５】また、請求項３記載の音声認識装置においては、上記統計的言語モデルは、請求項１記載の統計的言語モデル生成装置によって生成された。従って、遷移確率の予測精度及び信頼性を改善することができる統計的言語モデルを用いて音声認識するので、より高い音声
認識率で音声認識することができる音声認識装置を提供することができる。
【００７６】本発明に係る請求項４記載の連続音声認識
装置は、入力される発声音声文の音声信号に基づいて上(11)特許２８８６１２１

21
22
記発声音声文の単語仮説を検出し尤度を計算することに＊ 装置のブロック図である。
より、連続的に音声認識する音声認識手段を備えた連続【図２】 図１の連続音声認識装置における単語仮説絞
音声認識装置において、上記音声認識手段は、請求項１
込部６の処理を示すタイミングチャートである。
記載の統計的言語モデル生成装置によって生成された統【図３】 バイグラムの統計的言語モデルを示す状態遷
計的言語モデルを参照して、終了時刻が等しく開始時刻移図である。
が異なる同一の単語の単語仮説に対して、当該単語の先【図４】 トライグラムの統計的言語モデルを示す状態
頭音素環境毎に、発声開始時刻から当該単語の終了時刻
遷移図である。
に至る計算された総尤度のうちの最も高い尤度を有する【図５】 図１の連続音声認識装置において用いる可変
１つの単語仮説で代表させるように単語仮説の絞り込み
長Ｎ−グラムの下のモデルを示す状態遷移図である。
を行う。すなわち、先行単語毎に１つの単語仮説で代表 10 【図６】 図１の言語モデル生成部２０によって実行ささせる従来技術の単語ペア近似法に比較して、単語の先れる言語モデル生成処理を示すフローチャートである。
頭音素の先行音素（つまり、先行単語の最終音素）が等【図７】 図１の言語モデル生成部２０によって生成さしいものをひとまとめに扱うために、単語仮説数を削減れる統計的言語モデルにおける分離クラス数に対するテ
することができ、近似効果は大きい。特に、語彙数が増
ストセットパープレキシティを示すグラフである。
加した場合において削減効果が大きい。従って、当該連【図８】 図１の言語モデル生成部２０によって生成さ続音声認識装置を、間投詞の挿入や、言い淀み、言い直れる統計的言語モデルにおける学習データの単語数に対しが頻繁に生じる自然発話の認識に用いた場合であってするテストセットパープレキシティを示すグラフであも、単語仮説の併合又は分割に要する計算コストは従来る。
例に比較して小さくなる。すなわち、音声認識のために【符号の説明】
必要な処理量が小さくなり、それ故、音声認識のための 20 １…マイクロホン、
記憶装置において必要な記憶容量は小さくなる一方、処２…特徴抽出部、理量が小さくなるので音声認識のための処理時間を短縮
３，５…バッファメモリ、することができる。さらに、遷移確率の予測精度及び信４…単語照合部、
頼性を改善することができる統計的言語モデルを用いて
６…単語仮説絞込部、
音声認識するので、より高い音声認識率で連続的に音声
１１…音素ＨＭＭ、認識することができる連続音声認識装置を提供すること
１２…単語辞書、ができる。
２０…言語モデル生成部、【図面の簡単な説明】
２１…学習用テキストデータ、【図１】 本発明に係る一実施形態である連続音声認識＊
２２…統計的言語モデル。
【図３】

【図４】

【図５】

(12)

【図１】

特許２８８６１２１

(13)

【図２】

【図７】

【図８】

特許２８８６１２１

(14)特許２８８６１２１【図６】─────────────────────────────────────────────────────
フロントページの続き(72)発明者

松永 昭一
京都府相楽郡精華町大字乾谷小字三平谷
５番地 株式会社エイ・ティ・アール音声翻訳通信研究所内(56)参考文献

特開 平５−108704（ＪＰ，Ａ)
特開 平５−250405（ＪＰ，Ａ)
日本音響学会講演論文集（平成８年３月）１−Ｐ−17，ｐ．195〜196
6(58)調査した分野(Int.Cl. ，ＤＢ名)
G10L 3/00
535
G10L 3/00
561
ＪＩＣＳＴファイル（ＪＯＩＳ)