(57)【要約】      （修正有）【課題】音声モデルのトレーニングに必要なデータ量を低くしながら、広域の音声コンテキストを効率的に反映してASRシステムの仮説を再スコアリングする。【解決手段】仮説の再スコアリング装置は、第1、第2及び第3の音響モデルを記憶する記憶装置を含み、音響モデルは、中央音素基本ユニットAと、中央音素基本ユニットAに先行する多音素コンテキストA−及び中央音素基本ユニットAに後続する多音素コンテキストA＋が与えられたときの観測値Xの確率密度関数p(X|A)，p(X|A−)及びｐ(X|A＋)に対応する。装置はさらに、所与の仮説の音響スコアを式2007052165.tif 000027により計算する再スコアリングユニットを含み、j番目の音素の音響スコアは2007052165.tif 000028で与えられ、Ajは所与の仮説のj番目の音素を含む中央音素基本ユニット、Xjは所与の仮説中で分離されたj番目の観測値ユニット、Nは仮説中の音素の数である。【選択図】なし【特許請求の範囲】
【請求項１】
音声認識システムにおいて仮説の再スコアリングを行なう仮説の再スコアリング装置であって、
第１、第２及び第３の音響モデルを記憶するように適合された記憶装置を含み、前記第１、第２及び第３の音響モデルは、それぞれ、中央音素基本ユニットＡと、中央音素基本ユニットＡに先行する複数音素コンテキストＡ−及び中央音素基本ユニットＡに後続する複数音素コンテキストＡ＋とが与えられたときの観測値Ｘの確率密度関数、ｐ（Ｘ｜Ａ），ｐ（Ｘ｜Ａ−）及びｐ（Ｘ｜Ａ＋）にそれぞれ対応するものであり、
前記装置はさらに、
所与の仮説の音響スコアを式
【数１】
2007052165.tif 000023
によって計算するための手段を含み、
ここでｊ番目の音素の音響スコアは
【数２】
2007052165.tif 000024
で与えられ、ただしＡｊは所与の仮説のｊ番目の音素を含む中央音素基本ユニットであり、Ｘｊは所与の仮説中で分離されたｊ番目の観測値ユニットであり、Ｎは仮説中の音素の数である、仮説の再スコアリング装置。
【請求項２】
前記中央音素基本ユニットＡが中央単音素を含む、請求項１に記載の仮説の再スコアリング装置。
【請求項３】
前記中央音素基本ユニットＡがトライフォンを含む、請求項１に記載の仮説の再スコアリング装置。
【請求項４】
先行する複数音素コンテキストＡ−及び後続する複数音素コンテキストＡ＋が中央の中央音素基本ユニットに対して対称な同数の音素を含む、請求項１〜請求項３のいずれかに記載の仮説の再スコアリング装置。
【請求項５】
基本モデルＡの音響スコアが、条件ｐ（Ｘ｜Ａ−，Ａ，Ａ＋）≧ｐ（Ｘ｜Ａ）の成立する場合には広域モデルｐ（Ｘ｜Ａ−，Ａ，Ａ＋）により与えられ、成立しない場合には基本モデルｐ（Ｘ｜Ａ）により与えられるように、所与の仮説の音響スコアを調節するための手段をさらに含む、請求項１〜請求項４のいずれかに記載の装置。
【請求項６】
基本モデルＡの音響スコアｐｂ（Ｘ｜Ａ）が、広域モデルｐ（Ｘ｜Ａ−，Ａ，Ａ＋）と基本モデルｐ（Ｘ｜Ａ）との補間、
【数３】
2007052165.tif 000025
ただしλは予め定められた定数、によって与えられるように、所与の仮説の音響モデルを調節するための手段をさらに含む、請求項１〜請求項４のいずれかに記載の装置。
【請求項７】
音声認識システムにおいて仮説の再スコアリングを行なうための仮説の再スコアリング装置であって、
第１、第２及び第３の音響モデルを記憶するように適合された記憶装置を含み、前記第１、第２及び第３の音響モデルは、それぞれ、所与の中央音素基本ユニットＡと、基本ユニットＡより広い領域の第１の広域コンテキストＡ±１及び第１の広域コンテキストＡ±１よりさらに広い領域の第２の広域コンテキストＡ±２のそれぞれの観測値Ｘの確率密度関数ｐ（Ｘ｜Ａ），ｐ（Ｘ｜Ａ±１）及びｐ（Ｘ｜Ａ±２）に対応するものであり、
前記装置はさらに、所与の仮説中の各音素Ｘのスコアを、
【数４】
2007052165.tif 000026
によって計算し、その後所与の仮説中の音素のスコアを互いに乗じることにより、所与の仮説の音響スコアを計算するための手段をさらに含む、仮説の再スコアリング装置。
【請求項８】
コンピュータ上で実行されると、請求項１〜請求項７のいずれかに記載の全ての機能をコンピュータに実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音声認識に関し、特に、音響モデルの精密さを改良した音声認識に関する。
【背景技術】
【０００２】
過去１０年にわたって、ベイズのアプローチが多くの応用分野で広く用いられるようになった。このアプローチでは、確率論的フレームワークを用いて、独立性の有無に関する不確実性を符号化する。ベイズのフレームワークではまた、いくつかのモデルからの情報を組合せてより良い推論を行ない、モデリングの不確実性をよりよく説明することができる。
【０００３】
ベイズの統計的方法は、統計的推論と不確実性のもとでの判断との両者に完全なパラダイムを提供する（非特許文献１を参照されたい。）。その最も簡潔な形では、Ｈが仮説、Ｄがデータを表すものとして、ベイズの理論は以下を述べている。
【０００４】
【数１】
2007052165.tif 000002
ただしｐ（Ｈ｜Ｄ）はＤを得た後のＨについての確からしさの確率論的記述、すなわちいわゆる事後条件分布であり、ｐ（Ｈ）はデータＤを得る前のＨについての確からしさの確率論的記述、すなわちいわゆる事前分布と考えることができる。ｐ（Ｄ｜Ｈ）とｐ（Ｄ）とを特定すれば、この理論のメカニズムにより、データからどのように学習すべきかという問題への解が得られる（非特許文献２を参照されたい。）。
【０００５】
事後分布の推定に基づき、過学習したモデルを排除する適切なモデル構造の選択が可能となる。これは予測事後分布に基づく頑健な分類を提供し、これにより、過学習の影響が緩和される（非特許文献３）。いくつかのモデルからの情報をベイズのフレームワークに基づいて組合せ、より良い推論を行なうとともに、モデリングの不確実性についてのよりよい説明を与えることもできる（非特許文献４）。これらの利点を利用することにより、ベイズのフレームワークは、特に問題が不確実であって利用可能なデータが限られている場合に、多くの応用領域で有用であろう。
【０００６】
これらの領域の一つが、自動音声認識（Ａｕｔｏｍａｔｉｃ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ：ＡＳＲ）システムである。現在のＡＳＲシステムでは、日常生活での広域な使用を通じてその潜在的能力を十分に発揮するまでには依然として多くの難問がある。主流となっている音響モデリングの欠点の一つは、会話音声に存在する同時調音効果に対処する能力が限られていることである。
【０００７】
ＡＳＲシステムで用いられる従来のトライフォンユニットであって、完全なトライフォンモデルを何もないところからトレーニングするものを図１２に示す。図１２を参照して、従来のトライフォン音響モデル３０は、直接隣接するコンテキスト４０及び４４と、中央単音素音響ユニット４２とを含む。
【０００８】
図１３は従来のＡＳＲシステム４００の構造を示す。図１３を参照して、ＡＳＲシステム４００は、上述の、それぞれの音素に対するトライフォンモデルを含む音響モデル４１０と、トライフォン音響モデル４１０を用いて波形データ４１２をデコードし、Ｎベストリスト４１６を出力するデコーダ４１４とを含む。Ｎベストリストは最も高い確率スコアを有するＮ個の仮説を含む。スコアは、トライフォン音響モデル４１０を用いてデコーダ４１４で計算される。
【０００９】
トライフォン音響モデルは現在の音響モデルではもっとも広く用いられているものである。このようなトライフォンは有効な選択であることが分かっているが、全ての同時調音の影響を捕らえるには不十分であると考えられている。これらの影響は、先行する／後続する１番目のコンテキストからのみでなく、さらに離れて隣接するコンテキストからも及ぶ。非特許文献５では、母音は先行する子音に影響を及ぼすだけでなく、その子音の前の母音にも影響を及ぼすことが分かっている。他の研究でもまた、英語の／ｌ／及び／ｒ／が音節をまたぐ長距離の同時調音効果、すなわち「共鳴」を及ぼすことがわかっている（非特許文献６、７）。従って、トライフォンコンテキストよりも何かより広い領域に関するものを組入れることによって、単に先行する１個及び後続する１個のコンテキスト以上のものを考慮に入れることができる。このような音響モデルの性能は向上すると予測される。
【非特許文献１】Ｊ．ベルナルド、「ベイズ統計」、UNESCOライフサポートシステム辞典（EOLSS），ftp://matheron.uv.es/pub/personal/bernardo/BayesStat.pdf、２００１年（J.  Bernardo,  "Bayesian  statistic,"  UNESCO  Encyclopedia  of  Life  Support  System  (EOLSS),  ftp://matheron.uv.es/pub/personal/bernardo/BayesStat.pdf,  2001.）
【非特許文献２】Ｊ．ベルナルド及びＡ．スミス、ベイズ理論、ジョン  ワイリー＆サンズインコーポレーテッド、チチェスター、ウェストサセックス、イングランド、１９９４年。（J.  Bernardo  and  A.  Smith,  Bayesian  Theory,  John  Wiley  &  Sons  Inc.,  Chichester,  West  Sussex,  England,  1994.）
【非特許文献３】Ｓ．ワタナベ、Ｙ．ミナミ、Ａ．ナカムラ及びＮ．ウエダ、「音声認識のための変異性ベイズ推定及びクラスタリング」、IEEE音声及び音響処理トランザクションズ、第１２巻第４号、３６５−３８１ページ、２００４年（S.  Watabane,  Y.  Minami,  A.  Nakamura,  and  N.  Ueda,  "Variational  Bayesian  estimation  and  clustering  for  speech  recognition,"  IEEE  Trans.  on  Speech  and  Audio  Processing,  vol.  12,  no.  4,  pp.  365-381,  2004.）
【非特許文献４】Ｄ．ハッカーマン、Ｃ．ミーク及びＧ．クーパー、「因果関係の発見へのベイズアプローチ」技術報告、ＭＳＲ−ＴＲ−９７−０５、マイクロソフト研究、先進技術部門、マイクロソフト社、レドモンド、WA，USA，１９９７年（D.  Heckerman,  C.  Meek,  and  Ｇ．  Cooper,  "A  Bayesian  approach  to  causal  discovery,"  Tech  Rep.  MSR-TR-97-05,  Microsoft  Research,  Advanced  Technology  Division,  Microsoft  Corporation,  Redmond,  WA,  USA,  1997.）
【非特許文献５】Ｈ．スクリプチャー、実験的音声学の要素、チャールズ  スクリブナーズ  サンズ、ニューヨーク、USA，１９０２年。（H.  Scripture,  The  Elements  of  Experimental  Phonetics,  Charles  Scribners  Sons,  New  York,  USA,  1902.）
【非特許文献６】Ｓ．ハイド及びＸ．ホーキンス、「長いドメインの/r/及び/l/同時調音の音響的研究」、音声生成に関数する第５回セミナー：モデル及びデータ、クロスターゼオン、ドイツ、７７−８０ページ、２０００年（S.  Heid  and  S.  Hawkins,  "An  acoustical  study  of  long  domain  /r/  and  /l/  coarticulation,"  5th  Seminar  on  Speech  Production:  Model  and  Data,  Kloster  Seeon,  Germany,  pp.  77-80,  2000.）
【非特許文献７】Ｐ．ウェスト、「イギリス英語での/l/及び/r/への長距離同時調音の影響：ならびにEMA，EPGと音響研究」音声生成に関数する第５回セミナー：モデル及びデータ、クロスターゼオン、ドイツ、１０５−１０８ページ、２０００年（P.  West,  "Long  distance  coarticulatory  effects  of  British  English  /l/  and  /r/:  and  EMA,  EPG  and  acoustic  study,"  5th  Seminar  on  Speech  Production:  Model  and  Data,  Kloster  Seeon,  Germany,  pp.  105-108,  2000.）
【非特許文献８】Ｍ．フィンケ及びＩ．ロジーナ、「読みあげ音声対自発音声での広いコンテキストの音響モデリング」、ICASSP予稿集、ミュンヘン、ドイツ、１７４３−１７４６ページ、１９９７年（M.  Finke  and  I.  Rogina,  "Wide  context  acoustic  modeling  in  read  vs.  spontaneous  speech,"  Proc.  ICASSP,  Munich,  Germany,  pp.  1743-1746,  1997.）
【非特許文献９】Ｌ．バール、Ｐ．デズーザ、Ｐ．ゴパルクリシュナン、Ｄ．ナハムー及びＭ．ピチェニ、「連続音声における音韻論的規則のための判断ツリー」、ICASSP予稿集、トロント、カナダ、１８５−１８８ページ、１９９１年（L.  Bahl,  P.  de  Souza,  P.  Gopalakrishnan,  D.  Nahamoo,  and  M.  Picheny,  "Decision  tree  for  phonological  rules  in  continuous  speech,"  Proc.  ICASSP,  Toronto,  Canada,  pp.  185-188,  1991.）
【非特許文献１０】Ｃ．ネッティ、Ｇ．ポタミアノス、Ｊ．ルッティン、Ｉ．マシューズ、Ｈ．グロティン、Ｄ．ヴェルギリ、Ｊ．シソン、Ａ．マシャリ及びＪ．シュー、「聴覚−視覚的音声認識」、技術報告、CSLPジョンホプキンス大学、ボルチモア、USA、２０００年（C.  Neti,  G.  Potamianos,  J.  Luettin,  I.  Matthews,  H.  Glotin,  D.  Vergyri,  J.  Sison,  A.  Mashari,  and  J.  Zhou,  "Audio-visual  speech  recognition,"  tech.  rep.,  CSLP  John  Hopkins  University,  Baltimore,  USA,  2000.）
【非特許文献１１】Ｐ．ベヤライン、Ｘ．オーバート、Ｒ．ヘイアンバック、Ｍ．ハリス、Ｄ．クラコー、Ａ．ワンデムス、Ｓ．モロー、Ｍ．ピッツ、及びＡ．シクスツス、「ニュース放送のトランスクリプションのためのフィリップス/RWTHシステム」、DARPA放送ニュースワークショップ、予稿集、バージニア、USA，１５１−１５５ページ、１９９９年（P.  Beyerlein,  X.  Aubert,  R.  Haeb-Umbach,  M.  Harris,  D.  Klakow,  A.  Wandemuth,  S.  Molau,  M.  Pitz,  and  A.  Sixtus,  "The  Philips/RWTH  system  for  transcription  of  broadcast  news,"  Proc.  DARPA  Broadcast  News  Workshop,  Virginia,  USA,  pp.  151-155,  1999.）
【非特許文献１２】Ａ．ローリエ、Ｄ．ヒンドル、Ｍ．ライリー及びＲ．スプロート、「AT&T  LVCSR-２０００システム」、音声トランスクリプションワークショップ、メリーランド大学、USA，２０００年（A.  Ljolje,  D.  Hindle,  M.  Riley,  and  R.  Sproat,  "The  AT&T  LVCSR-2000  system,"  Speech  Transcription  Workshop,  University  of  Maryland,  USA,  2000.）
【非特許文献１３】Ｍ．シュスター及びＴ．ホリ、「音声認識のための高次コンテキスト依存重み付け有限状態変換機の効率的生成」、ICASSP予稿集、フィラデルフィア、USA、２０１−２０４ページ、２００５年（M.  Schuster  and  T.  Hori,  "Efficient  generation  of  high-order  context-dependent  weighted  finite  state  transducers  for  speech  recognition,"  Proc.  ICASSP,  Philadelphia,  USA,  pp.  201-204,  2005.）
【非特許文献１４】Ｔ．ホリ、Ｙ．ノダ及びＳ．マツナガ、「大語彙連続音声認識のための改良された音声経過依存の検索方法」IEICE情報＆システムトランザクション、Ｅ８６−Ｄ巻、第６号、１０５９−１０６７ページ、２００３年（T.  Hori,  Y.  Noda,  and  S.  Matsunaga,  "Improved  phoneme-history-dependent  search  method  for  large-vocabulary  continuous-speech  recognition,"  IEICE  Trans.  Inf.  &  Syst.,  vol.  E86-D,  no.  6,  pp.  1059-1067,  2003.）
【非特許文献１５】Ｊ．ミン、Ｐ．Ｏ．ボイル、Ｍ．オーウェンズ、及びＦ．Ｊ．スミス、「連続音声認識のためのトライフォンモデル構築のためのベイズアプローチ」IEEE音声及び音響処理トランザクション、第７巻、第６号、６７８−６８４ページ、１９９９年１１月（J.  Ming,  P.O.  Boyle,  M.  Owens,  and  F.J.  Smith,  "A  Bayesian  approach  for  building  triphone  models  for  continuous  speech  recognition,"  IEEE  Trans.  Speech  and  Audio  Processing,  vol.  7,  no.  6,  pp.  678-684,  November  1999.）
【非特許文献１６】Ｊ．ミン及びＦ．Ｊ．スミス、「ベイズのトライフォンモデル」コンピュータ音声及び言語、第１３巻、１９５−２０６ページ、１９９９年（J.  Ming  and  F.J.  Smith,  "A  Bayesian  triphone  model,"  Computer  Speech  and  Language,  vol.  13,  pp.  195-206,  1999.）
【非特許文献１７】Ｘ．ハン、Ａ．アケロ、及びＨ．Ｗ．ホン、会話言語処理、プレンティスホール、ニュージャージー、USA，２００１年（X.  Huang,  A.  Acero,  and  H.W.  Hon,  Spoken  Language  Processing,  Prentice  Hall,  New  Jersey,  USA,  2001.）
【非特許文献１８】Ｄ．ポール及びＪ．ベーカー、「ウォールストリートジャーナルベースのＣＳＲコーパスの設計」DARPA  SLSワークショップ予稿集、パシフィックグローブ、カリフォルニア、USA，３５７−３６１ページ、１９９２年（D.  Paul  and  J.  Baker,  "The  design  for  the  Wall  Street  Journal  based  CSR  corpus,"  Proc.  DARPA  SLS  Workshop,  Pacific  Grove,  California,  USA,  pp.  357-361,  1992.）
【非特許文献１９】Ｔ．ジツヒロ、Ｔ．マツイ、及びＳ．ナカムラ、「MDL基準に基づく非均一ＨＭＭトポロジーの自動生成」、IEICE情報＆システムトランザクション、Ｅ８７−Ｄ巻、第８号、２１２１−２１２９ページ、２００４年（T.  Jitsuhiro,  T.  Matsui,  and  S.  Nakamura,  "Automatic  generation  of  non-uniform  HMM  topologies  based  on  the  MDL  criterion,"  IEICE  Trans.  Inf.  &  Syst.,  vol  E87-D,  no.  8,  pp.  2121-2129,  2004）
【非特許文献２０】Ｔ．タケザワ、Ｅ．スミタ、Ｆ．スガヤ、Ｈ．ヤマモト、及びＳ．ヤマモト、「実世界における旅行会話の音声翻訳のための広域囲バイリンガルコーパスへ向けて」LREC予稿集、ラパルマ、カナリー諸島、スペイン、１４７−１５２ページ、２００２年（T.  Takezawa,  E.  Sumita,  F.  Sugaya,  H.  Yamamoto,  and  S.  Yamamoto,  "Toward  a  broad-coverage  bilingual  corpus  for  speech  translation  of  travel  conversations  in  the  real  world,"  Proc.  LREC,  Las  Palmas,  Canary  Islands,  Spain,  pp.  147-152,  2002.）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
多くの研究者が、テトラフォン、クインタフォン／ペンタフォンまたはそれ以上の、トライフォンより広域のコンテキストを組入れることによって音響モデルを改良しようと試みてきた（非特許文献８、９）。先行技術のシステムのうちいくつかは、ペンタフォンモデルを用いてかなり成功している（非特許文献１０〜非特許文献１２）。モデルのパラメータを適切にトレーニングし、かつこれらを語をまたいだデコードに用いるためには、大量のトレーニング用データとメモリ空間とが必要とされる。しかし、このような資源は通常は利用できない。利用できるトレーニングデータが限られている場合、パラメータの推定が頑健でなく、さらに出現しないテキストの数が増加するため、コンテキストの分解能が失われるであろう。
【００１１】
さらにメモリにも制約がある場合、語をまたぐコンテキストモデルの使用はわずらわしく、時として全く不可能にさえなる（非特許文献１３）。大規模システムでは、デコードの複雑さを避けるための簡単な方策は、再スコアリングのパスにおいて広域コンテキストモデルを適用することである。この場合、デコードの際には、漸進的に複雑さを増す知識源を用いて、検索空間のサイズを減少させることになる（非特許文献１４）。
【００１２】
まとめると、トライフォンより広域のコンテキストを組入れることはさらなる改良につながるが、これには大量のトレーニング用データを必要とし、トレーニングとデコーディングとを困難にする。他方で、より簡潔なモデルはより信頼性が高いものの、同時調音の効果を捕らえるには精密さに欠ける。従って、コンテキストの分解能とトレーニングデータのサイズとの間のバランスを保つことのできる、広域コンテキストを単位とする効率的モデリングを行なうことは、ＡＳＲシステムの現実的応用のために解決すべき重要な課題の一つである。例えば、もしこのような広域コンテキストを単位とするモデリングをＡＳＲシステムの仮説の再スコアリングに適用すれば、結果はより信頼性の高いものとなる。なぜなら、この結果はより広域の音声的コンテキストを効率的に反映しており、一方でモデルのトレーニング過程は簡単なままであり、トレーニングのために大量のトレーニング用データを必要としないからである。
【００１３】
従って、この発明の目的の一つは、音声モデルのトレーニングに必要とされるデータの量を低いレベルに保ったままで、より広域の音声コンテキストを効率的に反映する、ＡＳＲシステムの仮説を再スコアリングする装置を提供することである。
【課題を解決するための手段】
【００１４】
この発明の第１の局面によれば、音声認識システムにおいて仮説の再スコアリングを行なう仮説のスコアリング装置は、第１、第２及び第３の音響モデルを記憶するように適合された記憶装置を含み、前記第１、第２及び第３の音響モデルはそれぞれ中央音素基本ユニットＡと、中央音素基本ユニットＡに先行する複数音素コンテキストＡ−及び中央音素基本ユニットＡに後続する複数音素コンテキストＡ＋とが与えられたときの観測値Ｘの確率密度関数、ｐ（Ｘ｜Ａ），ｐ（Ｘ｜Ａ−）及びｐ（Ｘ｜Ａ＋）にそれぞれ対応するものであり、
装置はさらに、
所与の仮説の音響スコアを式
【００１５】
【数２】
2007052165.tif 000003
によって計算するための手段を含み、
ここでｊ番目の音素の音響スコアは
【００１６】
【数３】
2007052165.tif 000004
で与えられ、ただしＡｊは所与の仮説のｊ番目の音素を含む中央音素基本ユニットであり、Ｘｊは所与の仮説中で分離されたｊ番目の観測値ユニットであり、Ｎは仮説中の音素の数である。
【００１７】
好ましくは、中央音素基本ユニットＡは中央単音素を含む。
【００１８】
さらに好ましくは、中央音素基本ユニットＡはトライフォンを含む。
【００１９】
さらに好ましくは、先行する複数音素コンテキストＡ−及び後続する複数音素コンテキストＡ＋は、中央の中央音素基本ユニットに対して対称な同数の音素を含む。
【００２０】
より好ましくは、基本モデルＡの音響スコアが、条件ｐ（Ｘ｜Ａ−，Ａ，Ａ＋）≧ｐ（Ｘ｜Ａ）が成り立つ場合には広域モデルｐ（Ｘ｜Ａ−，Ａ，Ａ＋）により、成り立たない場合には基本モデルｐ（Ｘ｜Ａ）により与えられるように、所与の仮説の音響スコアを調節するための手段をさらに含む。
【００２１】
最も好ましくは、基本モデルＡの音響スコアｐｂ（Ｘ｜Ａ）が、広域モデルｐ（Ｘ｜Ａ−，Ａ，Ａ＋）と基本モデルｐ（Ｘ｜Ａ）との補間、
【００２２】
【数４】
2007052165.tif 000005
ただしλは予め定められた定数、によって与えられるように、所与の仮説の音響モデルを調節するための手段をさらに含む。
【００２３】
この発明の第２の局面に従えば、音声認識システムにおいて仮説の再スコアリングを行なう装置は、第１、第２及び第３の音響モデルを記憶するように適合された記憶装置を含み、前記第１、第２及び第３の音響モデルは、それぞれ、所与の中央音素基本ユニットＡと、基本ユニットＡより広い領域の第１の広域コンテキストＡ±１及び第１の広域コンテキストＡ±１より広い領域の第２の広域コンテキストＡ±２のそれぞれの観測値Ｘの確率密度関数、ｐ（Ｘ｜Ａ），ｐ（Ｘ｜Ａ±１）及びｐ（Ｘ｜Ａ±２）に対応するものであり、所与の仮説中の各音素Ｘのスコアを、
【００２４】
【数５】
2007052165.tif 000006
で計算し、その後所与の仮説中の音素のスコアを互いに乗じることにより、所与の仮説の音響スコアを計算するための手段をさらに含む。
【００２５】
この発明の第３の局面にしたがうコンピュータプログラムは、コンピュータ上で実行されると、上述の装置のうちのいずれかの持つ全ての機能をコンピュータに実行させる。
【発明を実施するための最良の形態】
【００２６】
ここで採用するアプローチは、ベイズのフレームワークの利点を利用しようとするものであって、トライフォンより広域のコンテキストを、いくつかの、コンテキストへの依存度が低いモデルを用いて近似することによってモデリングする。このアプローチは非特許文献１５及び非特許文献１６で提案された、トライフォンモデルをモノフォン及びバイフォンモデルで構築する方法の拡張である。この構成は、トレーニングデータが限られているという、決定的な問題を軽減するために開発された。このアプローチにより、大きなモデル全体を何もないところからトレーニングするかわりに、コンテキストへの依存度がより低いモデルから広域の音声コンテキストをモデル化することが可能になる。この構成を用いる技術により、コンテキストの分解能の欠損はかなり低くなる。なぜなら、推定する必要があるのはコンテキストへの依存度がより低いモデルのみだからである。このシステムでは標準的トライフォンベースのＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：隠れマルコフモデル）システムを用いて、Ｎベスト仮説リストを生成する。その後、Ｎベストリストの再スコアリングのために、広域コンテキストモデルを適用する。再スコアリングの間には、トレーニング過程で出現しなかった音声コンテキストがあるかもしれない。出現しないコンテキストがあるという問題と、トレーニングデータが限られているという問題とに対してモデルの信頼性を高めるために、フロアリングと削除補間法とを用いる。
【００２７】
以下では、広域音声コンテキストを構築するためのベイズフレームワークを簡潔に説明する。最初に、オリジナルのベイズトライフォンモデルを説明し、その後、ベイズ広域音声コンテキストモデルの一般的表現を含むベイズペンタフォンモデルを説明する。
【００２８】
ベイズ広域音声コンテキスト
ベイズトライフォンモデル
非特許文献１５及び非特許文献１６の理論的フレームワークに従って、音（ｐｈｏｎｅ）レベルの観測値をＸで表し、コンテキスト依存のトライフォンモデルＱを／ａ−，ａ，ａ＋／で示す。ここでａはある音であり、ａ−及びａ＋はそれぞれこれに先行する音素と後続する音素とである。トライフォンの音響モデリングの問題は、トライフォン／ａ−，ａ，ａ＋／から生成されるＸの確率密度関数（ｐｄｆ）、ｐ（Ｘ｜Ｑ）＝ｐ（Ｘ｜ａ−，ａ，ａ＋）の推定として表すことができる。ベイズの原理を用いれば、
【００２９】
【数６】
2007052165.tif 000007
となる。
【００３０】
所与のａ及びＸについてａ−及びａ＋が独立であると仮定すれば、ｐ（ａ−，ａ＋｜ａ）＝ｐ（ａ−｜ａ）ｐ（ａ＋｜ａ），ｐ（ａ−，ａ＋｜ａ，Ｘ）＝ｐ（ａ−｜ａ，Ｘ）ｐ（ａ＋｜ａ，Ｘ）であり、従って、式（２）は以下のようになる。
【００３１】
【数７】
2007052165.tif 000008
分子と分母とにｐ（ａ，Ｘ）ｐ（ａ）を乗じ、ベイズの公式を適用すると、式（３）は以下のようになる。
【００３２】
【数８】
2007052165.tif 000009
これはコンテキストへの依存度がより低いモデル、すなわちｐ（Ｘ｜ａ−，ａ），ｐ（Ｘ｜ａ，ａ＋），及びｐ（Ｘ｜ａ）によって、トライフォンモデルを表す新たな方法を示す。これらモデルはそれぞれ、先行する／後続するコンテキストのバイフォンとコンテキスト独立のモノフォンユニットとに対する観測値のｐｄｆに対応する。
【００３３】
これを図１に示す。従来のトライフォン音響モデル３０は、トライフォン／ａ−，ａ，ａ＋／からＸが生成される確率のｐｄｆ、ｐ（Ｘ｜Ｑ）＝ｐ（Ｘ｜ａ−，ａ，ａ＋）の推定を図１（Ａ）に示すように与える。トライフォンモデル３０は３個のユニット４０、４２及び４４を含む。一方、音響モデル５０は図１（Ｂ）に示すように、先行する２個のコンテキストユニット５２、後続する２個のコンテキストユニット５４、及び中央単音素ユニット５６を含む。
【００３４】
この構成により、推定すべきコンテキストユニットの数を、コンテキストのカバーする範囲を狭めることなく、Ｎ３から（Ｎ２＋Ｎ）に削減できる。ただしＮは音素の数である。式（４）の導出はベイズ統計学に深く関わっているので、これをベイズのトライフォンモデルと呼ぶ。
【００３５】
この明細書では、種々のコンテキストユニット及び構成を互いに区別するため、以下の名称を用いる。従来のトライフォンコンテキストユニットをＣ３と呼ぶ。図１（Ｂ）に示す構成によるトライフォンをＣ１Ｌ２Ｒ２と呼ぶ。これは、左／先行バイフォンコンテキストユニット（Ｌ２）と、右／後続バイフォンユニット（Ｒ２）と中央のコンテキスト独立な単音素ユニット（Ｃ１）とから構成されるからである。
【００３６】
ベイズのペンタフォンユニット
ここで、先のセクションからのアプローチを拡張して、より広域のペンタフォンモデルを構成する。これは直前に先行する音素コンテキスト及び直後に後続する音素コンテキストのみでなく、さらにその前に先行する音素コンテキストとさらにその次に後続する音素コンテキストとをさらに含む。図２（Ａ）に示す／ａ−−，ａ−，ａ，ａ＋，ａ＋＋／コンテキストユニット６０から生成されたＸのｐｄｆは以下のようになる。
【００３７】
【数９】
2007052165.tif 000010
この結果は、ペンタフォンモデルが、いくつかの、コンテキストに依存する程度のより低いモデル、すなわちｐ（Ｘ｜ａ−−，ａ−，ａ），ｐ（Ｘ｜ａ，ａ＋，ａ＋＋）及びｐ（Ｘ｜ａ）で作成できることを示す。これらはそれぞれ、左／先行トライフォンコンテキスト（Ｌ３）、右／後続トライフォンコンテキスト（Ｒ３）、及び中央単音素基本ユニット（Ｃ１）が与えられた場合の観測値Ｘのｐｄｆに対応する。これをＣ１Ｌ３Ｒ３構成と呼び、その図的表示は図２（Ｂ）に示すものである。図２（Ｂ）に示すように、音響モデル７０はＬ３、Ｒ３及びＣ１にそれぞれ対応する３個のユニット７２，７４及び７６を含む。単音素ユニット／ａ／を一個の基本ユニットＡ、先行するコンテキストユニット／ａ−−，ａ−／及び後続するコンテキストユニット／ａ＋，ａ＋＋／をそれぞれＡ−及びＡ＋と扱うこととすれば、式（５）を以下のように変形することができる。
【００３８】
【数１０】
2007052165.tif 000011
この結果は、Ａを任意のコンテキストユニット、Ａ−とＡ＋とをそれぞれ、その１個またはそれ以上の先行するコンテキストと後続するコンテキストとして、ｐ（Ｘ｜Ａ−，Ａ，Ａ＋）がモデルの構成をより一般的な形で表せることを示す。以下、この見方を一般的な表現として用いて、ベイズペンタフォンモデルの他の構成を導出する。
【００３９】
Ａがトライフォンユニット／ａ−，ａ，ａ＋／であり、Ａ−が２番目に先行するコンテキスト／ａ−−／であり、Ａ＋が２番目に後続するコンテキスト／ａ＋＋／であるとすれば、ｐ（Ｘ｜Ａ−，Ａ，Ａ＋）は以下のようになる。
【００４０】
【数１１】
2007052165.tif 000012
これは、ペンタフォンモデルをさらに、ｐ（Ｘ｜ａ−−，ａ−，ａ，ａ＋），ｐ（Ｘ｜ａ−，ａ，ａ＋，ａ＋＋），及びｐ（Ｘ｜ａ−，ａ，ａ＋）（図２（Ｃ）の音響モデル８０を参照）で構成可能なことを示し、これは、左／先行テトラフォンコンテキストユニット（Ｌ４）８２、右／後続テトラフォンコンテキストユニット（Ｒ４）８４及び中央のトライフォンコンテキストユニット（Ｃ３）８６が与えられた場合の観測値Ｘのｐｄｆに対応する。
【００４１】
Ｃ３Ｌ４Ｒ４構成の確率密度分布を、より縮約したモデルで、例えば、ｐ（Ｘ｜ａ−−，ａ−，ａ，ａ＋）をｐ（Ｘ｜ａ−−，ａ，ａ＋）で、ｐ（Ｘ｜ａ−，ａ，ａ＋，ａ＋＋）をｐ（Ｘ｜ａ−，ａ，ａ＋＋）で、ｐ（Ｘ｜ａ−，ａ，ａ＋）をｐ（Ｘ｜ａ）で、それぞれ近似することにより、式（７）は以下のようになる。
【００４２】
【数１２】
2007052165.tif 000013
この近似は、図２（Ｄ）に示すようなペンタフォンモデルを構成するさらに別の方法を与える。ここでペンタフォンモデル９０はｐ（Ｘ｜ａ−−，ａ，ａ＋），ｐ（Ｘ｜ａ−，ａ，ａ＋＋）及びｐ（Ｘ｜ａ）で構成される。これらは、それぞれ左／先行スキップトライフォンコンテキスト（Ｌｓｋ３）９２、右／後続スキップトライフォンコンテキスト（Ｒｓｋ３）９４及び中央の単音素基本ユニット（Ｃ１）９６が与えられた場合の観測値Ｘのｐｄｆに対応する。
【００４３】
Ｃ１Ｌ３Ｒ３構成、Ｃ３Ｌ４Ｒ４構成及びＣ１Ｌｓｋ３Ｒｓｋ３構成等の上述のアルゴリズムは、常に一般的表現ｐ（Ｘ｜Ａ−，Ａ，Ａ＋）に従うものであり、ここで広域コンテキストモデル／Ａ−，Ａ，Ａ＋／は左のコンテキストに依存する／Ａ−／、右のコンテキストに依存する／Ａ＋／及び中央の基本コンテキストユニット／Ａ／から構成される。加えて、ユニット／Ａ−／及び／Ａ＋／は／Ａ／を中心点として互いに対称である。しかし、上で述べたものの他に、広域コンテキストモデルを構成する他の選択肢もあり得る。広域コンテキストモデルを構成する一つの方法は、いくつかの、コンテキストに依存する程度がより低いモデルを用いることであり、ただし、各モデルの中央基本ユニット／Ａ／を各音素コンテキストの中心点とする。従って、ペンタフォン／ａ−−，ａ−，ａ，ａ＋，ａ＋＋／から生成されるＸのｐｄｆは、以下のように近似され得る。
【００４４】
【数１３】
2007052165.tif 000014
この結果は、図２（Ｅ）に示すようなペンタフォンモデル１００がｐ（Ｘ｜ａ−−，ａ，ａ＋＋），ｐ（Ｘ｜ａ−，ａ，ａ＋）及びｐ（Ｘ｜ａ）で構成できることを示し、これは中央のスキップトライフォンコンテキスト（Ｃｓｋ３）１０２、中央のトライフォンコンテキスト（Ｃ３）１０４及び中央の単音素基本ユニット（Ｃ１）１０６が与えられた場合の観測値Ｘのｐｄｆに対応し、Ｃ１Ｃ３Ｃｓｋ３構成と呼ばれる。
【００４５】
式（９）は以下のように書き直すことができる。
【００４６】
【数１４】
2007052165.tif 000015
ただしｐ（Ｘ｜Ａ±２）＝ｐ（Ｘ｜ａ−−，ａ，ａ＋＋）であり、ｐ（Ｘ｜Ａ±１）＝ｐ（Ｘ｜ａ−，ａ，ａ＋）であり、ｐ（Ｘ｜Ａ）はｐ（Ｘ｜ａ）である。Ａ±１をＡの第１次広域コンテキストと呼び、Ａ±２をＡの第２次広域コンテキストと呼ぶ。
【００４７】
これらの構成において、推定すべきコンテキストユニットの数は、コンテキストのカバーする範囲を損なうことなく、Ｃ１Ｌ３Ｒ３構成、Ｃ１Ｌｓｋ３Ｒｓｋ３構成及びＣ１Ｃ３Ｃｓｋ３構成についてはＮ5から（２Ｎ3＋Ｎ）に削減され、Ｃ３Ｌ４Ｒ４構成については（２Ｎ4＋Ｎ3）に削減される。ただしＮは音素の数である。英語ＡＳＲについて４４音素の組を用いるとすれば、ペンタフォンモデルで推定する必要のあるコンテキストの総数は４４５≒１６５，０００，０００コンテキストユニットである。トライフォンコンテキストユニットでの構成は、この複雑さを約１７０，０００ユニットまで減じるが、テトラフォンコンテキストユニットでの構成は、複雑さを約７，６００，０００程度にまで削減するのみである。
【００４８】
モデルの信頼性の向上
フロアリング
トレーニング中に出現しない音素コンテキストでは、認識の際にベイズの広域コンテキストモデルは出力確率を生成できない。この問題に対処するために、出力確率として小さな数値を単純に割当てることにする。ベイズの広域コンテキストモデルスコアはいくつかの、コンテキストに依存する程度のより低いモデルからの出力確率を含んでいるため、このフロアリングメカニズムを各モデルに適用する。
【００４９】
トレーニングデータの量が十分に大きくない場合、ベイズ広域コンテキストモデルｐ（Ｘ｜Ａ−，Ａ，Ａ＋）のパラメータ推定の信頼性が下がるので、状態出力の信頼性もまた下がる。以下の実施例では、モデルの信頼性を改良するため、３つの異なったアプローチを用いた。
【００５０】
１．「判断なし」
ベイズ広域コンテキストモデルｐ（Ｘ｜Ａ−，Ａ，Ａ＋）からの出力値を常に最終出力として受入れる。すなわち、以下の式のとおりである。
【００５１】
【数１５】
2007052165.tif 000016
２．「ハードな判断」
ベイズ広域コンテキストモデルｐ（Ｘ｜Ａ−，Ａ，Ａ＋）からの出力値が基本モデルｐ（Ｘ｜Ａ）より大きい場合のみ、これを出力値として受入れ、それ以外の場合には基本モデルｐ（Ｘ｜Ａ）に戻る。
【００５２】
【数１６】
2007052165.tif 000017
３．「ソフトな判断」
以下で説明する削除補間を用いる。
【００５３】
削除補間
削除補間（Ｄｅｌｅｔｅｄ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ：  ＤＩ）はより精密と思われるモデルが実際には信頼性を欠く場合に、より信頼性の高いモデルに戻ることを可能にする効率的な技術である（非特許文献１７）。この概念は、２個（またはそれ以上）の別個にトレーニングしたモデルを補間することを含み、このうち１個は他のものより信頼性高くトレーニングされている。従って、補間モデル、ｐ（Ｘ｜Ｑ）は以下で与えられる。
【００５４】
【数１７】
2007052165.tif 000018
ただしλは精密モデルの重みを表し、（１−λ）は縮約されているがより信頼性の高いモデルの重みを表す。トレーニングデータの量が十分に多ければ、ｐ（Ｘ｜Ｑprecise）はより信頼性が高くなり、λは１．０に近づく。十分でなければ、λは０．０に近づき、より信頼性の高いモデルｐ（Ｘ｜Ｑreliable）に戻る。
【００５５】
本実施の形態の場合、ベイズの広域コンテキストモデルが精密モデルであり、従って、式（１２）は以下のようになる。
【００５６】
【数１８】
2007052165.tif 000019
補間重みの最適値は、トレーニングセットではなく開発セットを用いることにより、又は交差検定法の使用により、推定することができる（非特許文献１７）。この方法では、トレーニングデータはＭ個の部分に分けられ、モデルはＭ−１個の組合せの各々についてトレーニングされ、削除された部分は、補間の重みを推定するための開発データとされる。これらＭ個の補間重みのセットを平均して、最終的な重みを得る。
【００５７】
構造
この発明の基となる理論を説明したので、以下、この発明の一実施例に従ったＡＳＲシステムの構造について説明する。この発明は図２（Ｃ）に示すようなペンタフォン音響モデル８０の考えを利用したものである。これは音声認識処理においてＣ３モデル８６を用い、音声認識処理から出力された仮説を、Ｃ３モデル８６とともに図２（Ｃ）に示すＬ４ユニット８２とＲ４ユニット８４とを用いて再スコアリングする。言うまでもなく、図２（Ｃ）に示すユニット８２〜８６に代えて音素モデルの他の表現を採用してもよい。
【００５８】
図３を参照して、ＡＳＲシステム１１０は、トレーニングに用いられる音響データを記憶するための記憶装置１２０（以下単に「音響データ１２０」と呼ぶ）と、音響データ１２０を用いて音響モデルのセット１２４を準備するための音響モデル準備装置１２２と、入力波形データ１２８を認識し、音響モデルのセット１２４を用いて再スコアリングした仮説１３０を出力する自動音声認識装置１２６とを含む。
【００５９】
音響モデルのセット１２４は、トライフォンコンテキスト音響モデル（Ｃ３）１７０と、左／先行テトラフォンコンテキスト音響モデル（Ｌ４）１７２と、右／後続テトラフォンコンテキスト音響モデル（Ｒ４）１７４とを含む。
【００６０】
音響モデル準備装置１２２は、音響データ１２０からＣ３音響モデル１７０のためのトレーニングデータセットを抽出する第１のトレーニングデータ準備ユニット１４０と、第１のトレーニングデータ準備ユニット１４０によって準備されたトレーニングデータを記憶するための記憶装置１４２と、記憶装置１４２に記憶されたトレーニングデータを用いてＣ３音響モデル１７０をトレーニングするための第１のトレーニングユニット１４４とを含む。
【００６１】
音響モデル準備装置１２２はさらに、音響データ１２０からＬ４及びＲ４音響モデル１７２及び１７４のためのトレーニングデータセットをそれぞれ抽出する第２及び第３のトレーニングデータ準備ユニット１５０及び１６０と、第２及び第３のトレーニングデータ準備ユニット１５０及び１６０によってそれぞれ準備されたトレーニングデータを記憶するための記憶装置１５２及び１６２と、記憶装置１５２及び１６２にそれぞれ記憶されたトレーニングデータを用いてＬ４及びＲ４音響モデル１７２及び１７４をトレーニングするための第２及び第３のトレーニングユニット１５４及び１６４とを含む。
【００６２】
トレーニングユニット１４４、１５４及び１６４は、Ｃ３音響モデル１７０、Ｌ４音響モデル１７２及びＲ４音響モデル１７４にそれぞれフロアリング技術を適用する。
【００６３】
自動音声認識装置１２６は、入力波形データ１２８をデコードし、ビタビアルゴリズムに基づいた標準的２パスデコーディングを用いて、それぞれ確率スコアを伴った仮説のＮベストリスト１８２を出力するデコーダ１８０と、Ｃ３音響モデル１７０、Ｌ４音響モデル１７２及びＲ４音響モデル１７４を用いてＮベストリスト１８２内の仮説を再スコアリングし、再計算されたスコアの降順でソートされた仮説１３０を出力する再スコアリングユニット１８４とを含む。再スコアリングユニット１８４は、選択された動作モードに従って、「判断なし」、「ハードな判断」及び「ソフトな判断」の方式のいずれか一つに従って音素を再スコアリングする。Ｎベストリスト１８２内の仮説の各々は音響スコア、言語モデリング（Ｌａｎｇｕａｇｅ  Ｍｏｄｅｌｉｎｇ：  ＬＭ）スコア及び各音素のビタビセグメンテーションを含む。再スコアリングユニット１８４は仮説の新たな音響スコアをそれぞれのＬＭスコアと組合せ、結果として得られる新たなスコアを仮説に割当てる。
【００６４】
図４に示すように、Ｃ３音響モデル１７０はトライフォン／ａ−，ａ，ａ＋／からＸが生成される確率のｐｄｆ、ｐ（Ｘ｜Ｑ）＝ｐ（Ｘ｜ａ−，ａ，ａ＋）の推定を与える。Ｌ４音響モデル１７２はテトラフォン／ａ−−，ａ−，ａ，ａ＋／からＸが生成される確率のｐｄｆ、ｐ（Ｘ｜Ｑ）＝ｐ（Ｘ｜ａ−−，ａ−，ａ，ａ＋）の推定を与える。Ｒ４音響モデル１７４はテトラフォン／ａ−，ａ，ａ＋，ａ＋＋／からＸが生成される確率のｐｄｆ、ｐ（Ｘ｜Ｑ）＝ｐ（Ｘ｜ａ−，ａ，ａ＋，ａ＋＋）の推定を与える。
【００６５】
各発話（入力波形データ１２８）の始め／終わりにおいては、全ての左／右コンテキストは無音で満たされる。
【００６６】
第１、第２及び第３のトレーニングデータ準備ユニット１４０、１５０及び１６０と、Ｃ３、Ｌ４及びＲ４音響モデル１７０、１７２及び１７４とは、全て公に又は商業上入手可能な統計又はＨＭＭツールキットで容易に実現できる。
【００６７】
自動音声認識装置１２６と再スコアリングユニット１８４とは、コンピュータハードウェアとソフトウェアとで実現できる。この実施の形態では、自動音声認識装置１２６はＣ３音響モデル１７０を利用して確率論的フレームワークで入力波形データ１２８を処理し、それぞれの確率論的スコアとともに仮説のＮベストリスト１８２を出力する限り、どのような種類のものであってもよい。
【００６８】
再スコアリングユニット１８４を実現するコンピュータプログラムの制御構造を図５に示す。図５を参照して、プログラムはステップ２００で開始し、Ｎベストリスト１８２の各仮説についてステップ２０２から２１０までが実行される。
【００６９】
ステップ２０２で、処理すべき仮説内の各音素について、ステップ２０４を実行する。
【００７０】
ステップ２０４では、以下のベイズペンタフォンにより、処理すべき音素を再スコアリングする。
【００７１】
【数１９】
2007052165.tif 000020
ここで、「判断なし」、「ハードな判断」及び「ソフトな判断」のいずれかが、選択されたモードに従って行なわれる。ソフトな判断の場合、スコアは式（１３）で決定される。
【００７２】
処理すべき仮説内の音素の各々についてステップ２０４を実行することで、仮説の音響スコアＳＣＯＲＥは以下の式により再計算される。ただしＮｉはｉ番目の仮説内の音素の数を表す。
【００７３】
【数２０】
2007052165.tif 000021
この新たな音響スコアがステップ２０８で計算される。この新たな音響スコアはさらに、このステップでこの仮説のＬＭスコアと組合される。結果として得られる新たなスコアが、この仮説に割当てられる。
【００７４】
Ｎベストリスト１８２の仮説の各々についてステップ２０２から２１０を実行した後では、すべての仮説は新たなスコアをソートキーとして、ステップ２１２で降順にソートされる。
【００７５】
この処理により、Ｎベストリスト１８２上の仮説の各々は、ペンタフォンモデルの一形態である一組の音響モデル１２４を用いて再スコアリングされる。
【００７６】
図６はＮベストリスト１８２の仮説の再スコアリング処理を例示する。図６を参照して、Ｎベストリスト１８２はＮＢＥＳＴ  １からＮＢＥＳＴ  Ｎで示されるＮ個の仮説を含む。仮説の各々は音素のシーケンスを含む。
【００７７】
例えば、Ｎ番目の仮説であるＮＢＥＳＴ  Ｎは８個の音素／ＳＩＬ／／Ｋ／／ＡＸ／／Ｎ／／ＡＹ／／ＩＹ／／Ｔ／及び／ＳＩＬ／を含む。音素／Ｎ／の新たな音響スコアは、例えば、図６に示すように、次の式で計算される。
【００７８】
【数２１】
2007052165.tif 000022
こうして、ペンタフォン音響モデルに基づく音響スコアを、Ｃ３音響モデル１７０、Ｌ４音響モデル１７２及びＲ４音響モデル１７４を用いて計算できる。音素の音響スコアを計算し、各仮説中でそれらを乗ずることにより、仮説の各々について新たな音響スコアを計算する。
【００７９】
動作
図３〜図６を参照して、この実施例のＡＳＲシステム１１０は以下のように動作する。ＡＳＲシステムは２つの動作段階を有する。トレーニング段階と動作段階である。
【００８０】
トレーニング段階では、音響モデルのセット１２４が音響モデル準備ユニット１２２により音響データ１２０から準備される。第１のトレーニングデータ準備ユニット１４０はＣ３音響モデル１７０をトレーニングするためのデータを音響データ１２０から抽出する。記憶装置１４２はこのトレーニングデータを記憶する。第２及び第３のトレーニングデータ準備ユニット１５０及び１６０は音響データ１２０から、それぞれＬ４音響モデル１７２及びＲ４音響モデル１７４をトレーニングするためのデータを抽出する。記憶装置１５２及び１６２がトレーニングデータセットを記憶する。
【００８１】
トレーニングユニット１４４、１５４及び１６４は、記憶装置１４２、１５２及び１６２にそれぞれ記憶されたトレーニングデータを用いて、Ｃ３音響モデル１７０、Ｌ４音響モデル１７２及びＲ４音響モデル１７４をそれぞれトレーニングする。このトレーニングにより、Ｃ３音響モデル１７０、Ｌ４音響モデル１７２及びＲ４音響モデル１７４が準備される。
【００８２】
さらに、「ソフトな判断」で用いられる「削除補間」のパラメータλが、音響モデルの組１２４と開発データセットとを用いて決定される。
【００８３】
音響モデルの組１２４が準備されλが決定されると、自動音声認識装置１２６は動作できる。入力波形データ１２８が与えられると、デコーダ１８０はＣ３音響モデル１７０を用いて入力波形データ１２８をデコードし、Ｎベストリスト１８２を出力する。Ｎベストリスト１８２上の仮説の各々について、再スコアリングユニット１８４がＣ３音響モデル１７０、Ｌ４音響モデル１７２及びＲ４音響モデル１７４を用いて再スコアリングを行なう。再スコアリングは、動作モードに従って、「判断なし」、「ハードな判断」及び「ソフトな判断」方式のひとつを用いて行なわれる。全ての仮説を再スコアリングすると、再スコアリングユニット１８４は仮説を降順でソートし、新たな音響スコアを割当てた新たな仮説１３０を出力する。
【００８４】
このように計算された新たな音響スコアは、ペンタフォン音響モデルに基づいているが、再スコアリング処理で用いられる音響モデルは、いくつかの、コンテキストに依存する程度がより低いモデルを用いて計算されている。この処理により、トレーニングデータが限られるという問題を回避することができ、モデルの複雑さが減じられる。フロアリングと削除補間とを利用することにより、出現しなかったコンテキスト、限られたトレーニングデータという問題が軽減され、モデルの信頼性が向上する。
【００８５】
音響モデルのセット１２４は図２に示すような、コンテキストに依存する程度がより低いモデルのどのような組合せであってもよい。
【００８６】
実験結果
トレーニングデータとして、ウォールストリートジャーナル（ＷＳＪ０及びＷＳＪ１）スピーチコーパス（非特許文献１８）からの６０時間超の母国語話者による英語の音声データを用いた。サンプリング周波数は１６ｋＨｚであり、フレーム長は２０ミリ秒のハミングウィンドウであり、フレームシフトは１０ミリ秒であり、１２次のＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔｓ：メル周波数ケプストラム）、ΔＭＦＣＣ及びΔ対数パワーからなる２５次特徴パラメータを特徴パラメータとして用いた。各音素について、初期ＨＭＭとして３状態を用いた。この後、状態レベルでトライフォンコンテキストが共有される最適状態トポロジーを得るために、最小記述長さ（ｍｉｎｉｍｕｍ  ｄｅｓｃｒｉｐｔｉｏｎ  ｌｅｎｇｔｈ：ＭＤＬ）に基づく連続状態分割（ｓｕｃｃｅｓｓｉｖｅ  ｓｔａｔｅ  ｓｐｌｉｔｔｉｎｇ：ＳＳＳ）を用いて、状態レベルＨＭｎｅｔを得た。ＭＤＬ−ＳＳＳの詳細は非特許文献１９に記載されている。ベイズ広域音素コンテキストモデルの各要素モデルは同じＳＳＳトレーニングアルゴリズムを用いて別個にトレーニングされた。
【００８７】
各モデルの性能を、トレーニングコーパスとは全く異なる、出願人が準備した基本旅行表現コーパス（Ｂａｓｉｃ  Ｔｒａｖｅｌ  Ｅｘｐｒｅｓｓｉｏｎ  Ｃｏｒｐｕｓ：ＢＴＥＣ）（非特許文献２０）でテストした。全ＢＴＥＣテストセット１は４０人の異なる話者（男性２０名、女性２０名）による４，０８０個の読上げ音声発話からなる。トレーニングの時間を削減するため、単純に２０人の異なる話者（男性１０名、女性１０名）による１，０００の発話を選択し、これを開発セットとして用いて、削除補間の最適λパラメータを見出した。ランダムに選択した４０人の異なる話者（男性２０名、女性２０名）による２００個の発話をテストセットとして用いた。
【００８８】
第１の実験では、ベースラインとしてコンテキスト独立のモノフォンシステム（Ｃ１）を用いた。再スコアリングは、ベイズのトライフォンＣ１Ｌ２Ｒ２で行なった。比較のため、従来のバイフォン（Ｃ２）及びトライフォン（Ｃ３）モデルを用いた再スコアリングも行なった。各再スコアリングに、「判断なし」、「ハードな判断」及び「ソフトな判断」方式を適用した。各判断方式によって得られた全てのモデルの認識結果を図７に示す。図７に示すように、ベイズのＣ１Ｌ２Ｒ２はベースラインに対して５．６％と相当な改良を達成した。この性能はＣ２より良好であった。トレーニングデータはトライフォンモデルのトレーニングには十分大きいため、Ｃ３による再スコアリングが最良の結果をもたらした。
【００８９】
最良の性能は、「ハードな判断」の方式を用いることで得られた。これらは、「判断なし」又は「ソフトな判断」を用いた性能より良好であった。これはおそらく、テストデータ中に出現しないいくつかの音素コンテキストがあり、トライフォンモデルではフロアリングの値しか与えられないためであろう。従って、「判断なし」メカニズムのようにトライフォンモデルからの出力値を常に受入れるのは良い考えではない。他方で、トライフォンモデルはＳＳＳアルゴリズムを用いてトレーニングされており、ここではトライフォンコンテキストが状態レベルで共有されているため、多くのトライフォンコンテキストでの推定が信頼性のあるものとなる。従って、「ソフトな判断」メカニズムのように常にモノフォンモデルの推定を補間することもまた、出力の確率を損なう。
【００９０】
２番目の実験はより広域なコンテキストモデルに向けられたものであり、ここではベースラインシステムとしてコンテキスト依存トライフォンシステム（Ｃ３）を用いて再スコアリングのための新たなＮベストリストを生成した。４種類のベイズペンタフォンモデルをテストした。すなわち、Ｃ１Ｌ３Ｒ３、Ｃ３Ｌ４Ｒ４（上述の実施の形態）、Ｃ１Ｌｓｋ３Ｒｓｋ３及びＣ１Ｃ３Ｃｓｋ３である。比較のため、何もないところからトレーニングした従来の全ペンタフォンモデル（Ｃ５）での再スコアリングも行なった。各判断メカニズムで得られた全てのモデルの認識結果を図８に示す。
【００９１】
結果は、全てのペンタフォンモデルがベースラインに対し改良を達成可能であることを示している。ここで、従来のペンタフォンＣ５が、ベイズのペンタフォンモデルと比べ最悪の性能であった。ペンタフォンモデル全体を何もないところからトレーニングするにはトレーニングデータが不十分であったようで、このためベイズのフレームワークを用いてペンタフォンモデルを近似することは、コンテキストの解像度の低下を減じ性能を高める助けとなる。
【００９２】
ベイズペンタフォンモデルでは、Ｃ１Ｌ３Ｒ３モデルが最良の結果をもたらした。これはＣ１Ｌｓｋ３Ｒｓｋ３及びＣ１Ｃ３Ｃｓｋ３より良好であったが、これはスキップされた音素コンテキスト間の依存よりも、隣接する音素コンテキスト間の依存のほうが大きな影響を有するからであろう。これはＣ１Ｌｓｋ３Ｒｓｋ３とＣ１Ｃ３Ｃｓｋ３の結果の比較からも見られ、ここではＣ１Ｃ３Ｃｓｋ３のほうがＣ１Ｌｓｋ３Ｒｓｋ３よりも性能が良かった。これはＣ１Ｃ３Ｃｓｋ３構成に比べＣ１Ｌｓｋ３Ｒｓｋ３構成ではスキップされた音素コンテキストが多いからである。
【００９３】
トレーニング処理では、コンテキストへの依存度が低いユニットのモデル各々が独立してトレーニングされた。４種類のベイズペンタフォンモデルから、構成の形態でいくらか不一致のあるものが含まれ、Ｃ３Ｌ４Ｒ４構成がもっとも不一致が大きい。というのも、Ｌ４モデルとＲ４モデルとの間にトライフォンの重複があるからである。ベイズのペンタフォンモデルのうちＣ３Ｌ４Ｒ４の結果が最悪であったのは、おそらくこの影響であろう。
【００９４】
最良の性能が得られたのは、削除補間を用いた「ソフトな判断」方式であった。これは、ペンタフォンモデルでの推定の信頼性が低い場合、ペンタフォンモデルとトライフォンモデルとの推定を補間することが有用であることを示す。なぜなら、トライフォンモデルはしばしば、有益な情報を提供するからである。最適重みパラメータλは０．３であった。重み計数が０．３であるということは、ペンタフォンモデルの寄与分が総スコアのわずか３０％程度であることを意味する。
【００９５】
図９はモノフォン（単音素）Ｃ１モデルに対するベイズトライフォンＣ１Ｌ２Ｒ２モデルの単語誤り率（ＷＥＲ）の相対的減少と、トライフォンモデルＣ３に対するベイズペンタフォンＣ１Ｌ３Ｒ３のＷＥＲの相対的減少との比較である。ベイズペンタフォンモデルの誤り率減少はより小さい（ベイズトライフォンモデルの誤り率減少の約半分）が、これはおそらく以下の理由によるものであろう。
【００９６】
第１に、２番目に先行するコンテキスト及び２番目に後続するコンテキストの同時調音の影響は、直前のコンテキスト及び直後のコンテキストの同時調音の影響ほどではない。第２に、読上げ音声データでは、より長い同時調音の影響から来る変動は会話発話ほど大きくないと思われる。これはまた、削除補間の重み係数からも分かり、これはわずか３０％の信頼係数であると解釈される。しかし、この結果は、寄与分がこのように比較的小さいとしても、依然としてこれが認識性能を向上させる助けになることを示している。
【００９７】
コンピュータによる実現
上述の実施の形態はコンピュータシステムとシステム上で実行されるコンピュータプログラムとによって実現可能である。図１０はこの実施の形態で用いられるコンピュータシステム３３０の外観を示し、図１１はコンピュータシステム３３０のブロック図である。ここで示すコンピュータシステム３３０は単なる例示であって、さまざまな他の構成が利用可能である。
【００９８】
図１０を参照して、コンピュータシステム３３０は、コンピュータ３４０と、全てコンピュータ３４０に接続された、モニタ３４２、キーボード３４６、及びマウス３４８とを含む。さらに、コンピュータ３４０は内蔵のＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブ３５０及びＦＤ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ）ドライブ３５２を有する。
【００９９】
図１１を参照して、コンピュータ３４０はさらに、ＣＤ−ＲＯＭドライブ３５０及びＦＤドライブ３５２に接続されたバス３６６と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３５６と、コンピュータのブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）３５８と、ＣＰＵ３５６によって使用される作業領域及びＣＰＵ３５６によって実行されるプログラムの記憶領域を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３６０と、音響データ、波形データ、及び仮説を記憶するためのハードディスク３５４とを含み、これらは全てバス３６６に接続されている。
【０１００】
上述の実施例のシステムを実現するソフトウェアはＣＤ−ＲＯＭ３６２等の記録媒体に記録されて配布され、ＣＤ−ＲＯＭドライブ３５０等の読出装置を介してコンピュータ３４０に提供され、ハードディスク３５４に記憶される。ＣＰＵ３５６がプログラムを実行する際には、プログラムはハードディスク３５４から読出されてＲＡＭ３６０に記憶される。図示しないプログラムカウンタによって指定されたアドレスから命令が読みだされ、命令が実行される。ＣＰＵ３５６は処理対象のデータをハードディスク３５４から読出し、処理の結果をまたハードディスク３５４に記憶する。
【０１０１】
コンピュータシステム３３０の一般的な動作は周知であり、従ってその詳細はここでは説明しない。
【０１０２】
ソフトウェア配布の方法に関して、ソフトウェアは必ずしも記録媒体上に固定されなくてもよい。例えば、ソフトウェアはネットワークで接続された別のコンピュータから配布されてもよい。ソフトウェアの一部をハードディスク３５４に記憶し、ソフトウェアの残りの部分をネットワークを介して入手してハードディスク３５４に格納し、実行時に統合してもよい。
【０１０３】
典型的には、現在のコンピュータはコンピュータのオペレーティングシステム（ＯＳ）によって提供される一般的な機能を利用し、所望の目的に従って、制御された様態で機能を達成する。従って、ＯＳ又はサードパーティプログラムによって提供されうる一般的な機能を含まず、一般的機能を実行する順序の組合せのみを指定するプログラムであっても、そのプログラムが全体として所望の目的を達成する限り、それがこの発明の範囲内にあることは明らかである。
【０１０４】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１０５】
【図１】従来のトライフォンモデルと狭いコンテキストモデルで構築されたトライフォンモデルとを示す図である。
【図２】いくつかの狭い領域のコンテキストモデルで構築された別のモデルを示す図である。
【図３】この発明の一実施の形態に従ったＡＳＲシステムの構造を示すブロック図である。
【図４】ＡＳＲシステム１１０で用いられる３個の音響モデルを示す図である。
【図５】図３に示す再スコアリングユニット１８４を実現するプログラムの全体の制御構造を示す図である。
【図６】Ｎベスト仮説がどのように再スコアリングされるかを示す図である。
【図７】第１の実験結果を示すグラフである。
【図８】第２の実験結果を示すグラフである。
【図９】第３の実験結果を示すグラフである。
【図１０】コンピュータシステム３３０の斜視図である。
【図１１】コンピュータシステム３３０のブロック図である。
【図１２】従来のトライフォン音響モデルを示す図である。
【図１３】先行技術のＡＳＲシステム４００を示すブロック図である。
【符号の説明】
【０１０６】
３０  トライフォン音響モデル
４０、４４、５２、５４、７２、７４、８２、８４、９２、９４、１０２、１０４  コンテキストユニット
５０、７０、８０、９０、１００  音響モデル
１１０  ＡＳＲシステム
１２０  音響データ
１２２  音響モデル準備装置
１２４  音響モデルセット
１２６  自動音声認識装置
１２８  入力波形データ
１３０  仮説
１４０、１５０、１６０  トレーニングデータ準備ユニット
１４４、１５４、１６４  トレーニングユニット
１８０  デコーダ
１８２  Ｎベストリスト
１８４  再スコアリングユニット
【図１】
2007052165.tif 000029
【図２】
2007052165.tif 000030
【図３】
2007052165.tif 000031
【図４】
2007052165.tif 000032
【図５】
2007052165.tif 000033
【図６】
2007052165.tif 000034
【図７】
2007052165.tif 000035
【図８】
2007052165.tif 000036
【図９】
2007052165.tif 000037
【図１０】
2007052165.tif 000038
【図１１】
2007052165.tif 000039
【図１２】
2007052165.tif 000040
【図１３】
2007052165.tif 000041
【外国語明細書】
2007052165000001.pdf
2007052165000002.pdf
2007052165000003.pdf
2007052165000004.pdf