(57)【要約】【課題】音声認識において、言語モデルの学習用文例における出現頻度の小さい単語や単語列の認識誤りを減少させる。【解決手段】ユーザの発声した入力音声１００１を音声分析手段２００１で特徴ベクトルに変換し、音節列認識手段３００１で尤度最大の音節列に変換し、単語列探索手段４００１にて言語モデル４００３に記憶された単語連鎖の統計量を参照して音節列を単語列に変換する音声認識装置において、孤立した単語の統計量が記憶された短単語言語モデル４００４と、音節列認識手段３００１の出力の音節列に含まれる音節数を推定し、短い発声入力に際しては単語列探索手段４００１が参照する言語モデルを、言語モデル切替手段４００６にて言語モデル４００３から短単語言語モデル４００４に切り替える発声長推定手段４００５とを備え、訂正作業等における短い単語や単語列の再発声入力による認識誤りを減少させる。【選択図】　　　　図１
2004126143.tif 000002
【特許請求の範囲】
【請求項１】
単語連鎖の統計量を記憶した第１言語モデル記憶手段と、孤立した単語の統計量または文章の部分から切り出された単語の統計量またはサブワードの統計量を記憶した第２言語モデル記憶手段と、入力音声の発声長を推定する発声長推定手段と、前記発声長推定手段にて判別された前記発声長の長短に応じて前記第１言語モデルまたは第２言語モデルに記憶された前記統計量を選択的に参照して前記入力音声を文字列に変換する探索手段と、を含むことを特徴とする音声認識装置。
【請求項２】
前記探索手段から出力される前記文字列から同音語を生成する同音語生成手段と、前記同音語生成手段の生成した前記同音語の選択候補リストを表示する同音語表示手段と、を含むことを特徴とする請求項１記載の音声認識装置。
【請求項３】
前記探索手段から出力される前記文字列からサブワードを生成するサブワード生成手段と、前記サブワード生成手段の生成した前記サブワードの選択候補リストを表示するサブワード表示手段と、を含むことを特徴とする請求項１記載の音声認識装置。
【請求項４】
前記探索手段から出力される前記文字列を表示する表示手段と、前記表示手段に表示されるカーソルが前記文字列のどの位置にあるかを判定する文字挿入位置判定手段とを含み、前記カーソルが前記文字列の内部にあると判定された場合に、前記探索手段は、前記発声長の長短に応じて前記第２言語モデルに記憶された前記統計量を選択的に参照して前記入力音声を文字列に変換する動作を行うことを特徴とする請求項１から請求項３のうちのいずれか１項記載の音声認識装置。
【請求項５】
前記探索手段から出力される前記文字列を表示する表示手段と、前記表示手段に表示された前記文字列を修正するユーザ操作を記憶するユーザ操作記憶手段と、前記ユーザ操作記憶手段に記憶されたユーザ操作の種別を判定するユーザ操作判定手段とを含み、前記ユーザ操作が前記文字列の削除操作と判定された場合に、前記探索手段は、前記発声長の長短に応じて前記第２言語モデルに記憶された前記統計量を選択的に参照して前記入力音声を文字列に変換する動作を行うことを特徴とする請求項１から請求項３のうちのいずれか１項記載の音声認識装置。
【請求項６】
前記ユーザ操作判定手段が直前の前記ユーザ操作が前記文字列に対する所定の数以下の文字の削除であると判定したとき、前記探索手段は、前記発声長の長短に応じて前記第２言語モデルに記憶された前記統計量を選択的に参照して前記入力音声を文字列に変換する動作を行うことを特徴とする請求項５記載の音声認識装置。
【請求項７】
コンピュータを、単語連鎖の統計量を記憶した第１言語モデル記憶手段と、孤立した単語の統計量または文章の部分から切り出された単語の統計量またはサブワードの統計量を記憶した第２言語モデル記憶手段と、入力音声の発声長を推定する発声長推定手段と、前記発声長推定手段にて判別された前記発声長の長短に応じて前記第１言語モデルまたは第２言語モデルに記憶された前記統計量を選択的に参照して前記入力音声を文字列に変換する探索手段として機能させることを特徴とする音声認識プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、音声認識技術に関し、特に音声認識による文章入力技術等に関するものである。
【０００２】
【従来の技術】
利便性や特別な訓練が不要であることなどから、音声入力による文書作成への期待は極めて高く、音声認識による日本語の文章入力ソフトウェアが各社から市販され注目を浴びている。
【０００３】
音声を文字に変換する口述筆記のための音声認識技術として、非特許文献１には、「認識誤り傾向の確率モデルを用いた２段階探索法による大語彙連続音声認識」の技術が開示されている。
【０００４】
非特許文献２では、辞書に登録されていない単語（未知語）を細かい音節単位にて認識する技術が開示されている。
【０００５】
特許文献１では、単語のモデルに無い複合語を入力する際ユーザを支援する技術が開示されている。
【０００６】
これらのソフトウェアをコンピュータで動作させることで実現される従来の音声認識文章入力装置は、入力音声を分析して特徴ベクトル時系列を出力する音声分析手段と、例えばトライフォンＨＭＭからなる音響モデルと、音響モデルを参照して音声分析手段の特徴ベクトル時系列から入力音声に対応する音節列を認識する音節列認識手段と、音節列認識手段の認識誤り傾向を記憶する差分モデルと、例えば単語のＮ−ｇｒａｍ統計量からなる言語モデルと、この言語モデルを参照して音節列認識手段の出力音節列から入力音声を最もよく近似する単語の列を探索する単語列探索手段と、単語列探索手段の出力単語列の文字を一時記憶するテキストバッファと、テキストバッファに記憶された文字を表示する表示手段と、ユーザ操作によってテキストバッファ中の文字を修正する修正手段と、テキストバッファから抽出されるユーザが作成したユーザテキストが格納される記憶手段とで構成される。
言語モデルとしては、単語連鎖の統計量に基づくＮ−ｇｒａｍモデル（例えばＮ＝３）が用いられ、その統計量は、新聞やＷｅｂ（インターネット上の情報資源）などの大量のテキストから学習される。
【０００７】
この構成の従来の音声認識文章入力装置において、ユーザの音声は単語列探索手段によって言語モデルに記憶された言語モデルに従って単語列に変換されその文字がテキストバッファに一時記憶されると同時に、表示手段によってユーザに表示される。ユーザは表示手段の表示に基づいて、ユーザ操作によりテキストバッファに一時記憶されたテキスト中の認識誤りを修正して最終的に所望のユーザテキストを得ることが可能である。ユーザ操作としては、キーボードによる入力のほかに音声による入力が可能である。
【０００８】
しかし、このような従来の音声認識文章入力装置では、単語列探索手段が出力する単語列は、言語モデルに基づき計算される確率の大きな単語列であるため、言語モデルの学習用例文に現れない単語列を認識する可能性は小さい。このため、「音声認識をするなど」という発声に対しては、「音声を認識する。」と誤って認識する可能性が高い（この例では、「など」を「。（マル）」と誤認識している。また、助詞「を」の位置が異なる）。認識誤りに対して、ユーザはユーザ操作により修正手段を介してテキストバッファ内の文字に対して修正を行う。修正結果は表示手段に表示される。修正方法として、修正部分を再発声して、認識結果を上書きすることによる修正が可能である。この場合、再発声された音声は言語モデルの統計量に基づいて、単語列探索手段により最も確率の高い単語列が選択されて認識結果となるため、言語モデルの学習テキストに出現しない単語列は、正しく認識される可能性は低い。したがって、上記の例で、「。」を修正するため、「など」と再発声しても、単語「など」が学習用文例の中に孤立した単語として出現することはまれであるため、正しく認識される可能性は低い。
【０００９】
また、上記のような誤認識部分の再発声による修正に限らず、通常の音声入力の場合でも、言語モデルの学習用文例に孤立して出現することがまれな単語を発声して、入力する場合も、同様に、正しく、認識される可能性が低下する。
【００１０】
【特許文献１】
特表平０７−５０７８８０号公報
【非特許文献１】
電子情報通信学会論文誌ＶＯＬ．Ｊ８３−Ｄ−ＩＩ，Ｎｏ．１２，ＰＰ．２５４５−２５５３、２０００年１２月発行
【非特許文献２】
伊藤克亘他著「被覆率を重視した大規模連続音声認識用統計言語モデル」，日本音響学会講演論文集，ｐｐ．６５−６６、１９９９年３月発行
【００１１】
【発明が解決しようとする課題】
このような従来の構成の音声認識装置では、誤認識部分の再発声や通常の音声入力のとき、言語モデルの学習文例において孤立して出現する頻度の小さい単語や単語列を入力しても、正しく認識する可能性が低く、音声入力の能率が悪くなるという技術的課題があった。
【００１２】
また、このような従来の構成の音声認識装置では、単語の言語モデルを用いているため、言語モデルに存在しない単語を音声入力することが困難であるという技術的課題があった。これに対して、言語モデルに存在しない単語を音節単位に認識する従来手法があるが、音節の認識結果が正解でない場合に所望の単語を音声入力することが困難であった。
【００１３】
この発明は上記のような技術的課題を解決するためになされたもので、音声認識において、通常の音声入力や誤認識部分の再発声による修正に際して、言語モデルの学習用文例における出現頻度の小さい単語や単語列の認識誤りを減少させることが可能な音声認識技術を提供することを目的とする。
【００１４】
また、この発明は、言語モデルに存在しない単語を容易に音声入力することで認識結果の編集や訂正等の作業効率の向上を可能とした音声認識技術を提供することを目的とする。
【００１５】
【課題を解決するための手段】
この発明に係る音声認識装置は、単語連鎖の統計量を記憶した第１言語モデル記憶手段と、短い単語の統計量または文章の部分から切り出された単語の統計量またはサブワードの統計量を記憶した第２言語モデル記憶手段と、入力音声の発声長を推定する発声長推定手段と、前記発声長推定手段にて判別された前記発声長の長短に応じて前記第１言語モデルまたは第２言語モデルに記憶された前記統計量を選択的に参照して前記入力音声を文字列に変換する探索手段と、を含むものである。
【００１６】
この発明に係る音声認識プログラムは、コンピュータを、単語連鎖の統計量を記憶した第１言語モデル記憶手段と、短い単語の統計量または文章の部分から切り出された単語の統計量またはサブワードの統計量を記憶した第２言語モデル記憶手段と、入力音声の発声長を推定する発声長推定手段と、前記発声長推定手段にて判別された前記発声長の長短に応じて前記第１言語モデルまたは第２言語モデルに記憶された前記統計量を選択的に参照して前記入力音声を文字列に変換する探索手段として機能させるものである。
【００１７】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１を示す音声認識装置の構成の一例を示すブロック図である。なお、以下に例示される音声認識装置は、たとえば中央処理装置、主記憶、外部記憶装置、ディスプレイ、キーボード、マウス等のハードウェアおよびこれらを動作させるプログラムで構成されるコンピュータシステムで構成され、後述の各手段や操作は上述のハードウェアおよびプログラム等にて実現することができる。
【００１８】
図１において、２００１は、入力音声１００１を分析して特徴ベクトル時系列を出力する音声分析手段、３００２は例えばトライフォンＨＭＭからなる音響モデル、３００１は音響モデル３００２を参照して音声分析手段２００１からの特徴ベクトル時系列から入力音声１００１に対応する尤度最大の音節列を認識する音節列認識手段、４００２は音節列認識手段の認識誤り傾向を記憶する差分モデル、４００３は単語のＮ−ｇｒａｍからなる言語モデル、４００４は短単語言語モデル、４００５は音節列認識手段３００１からの出力に基づいて、入力音声１００１の発声長を推定する発声長推定手段、４００６は発声長推定手段４００５の判定により言語モデル４００３（第１言語モデル記憶手段）または短単語言語モデル４００４（第２言語モデル記憶手段）を切替える言語モデル切替手段、４００１は言語モデル切替手段４００６で切替えられた言語モデル４００３または短単語言語モデル４００４と差分モデル４００２とを参照して音節列認識手段３００１が出力した音節列を最もよく近似する単語の列を探索する単語列探索手段、５００１は単語列探索手段４００１の出力単語列の文字を一時記憶するテキストバッファ、６００１はテキストバッファ５００１に記憶された文字を表示する表示手段、６００３はユーザ操作６００２によってテキストバッファ５００１中の文字を修正する修正手段、７００１はテキストバッファから抽出されるユーザが作成したユーザテキストである。
【００１９】
言語モデル４００３としては、単語連鎖の統計量に基づくＮ−ｇｒａｍ（例えばＮ＝３）が用いられる。言語モデル４００３の統計量は、新聞やＷｅｂなどの大量のテキストから学習される。一方、短単語言語モデル４００４は、孤立した単語の統計量（Ｎ−ｇｒａｍ）が記憶されている。単語としては、通常の名詞に限らず、孤立して発声される可能性のある、格助詞「が」、副助詞「など」なども含まれる。
【００２０】
次に動作について説明する。図１６は本実施の形態の音声認識装置の作用の一例を示すフローチャートである。
【００２１】
この構成において、ユーザの発声した入力音声１００１は（ステップＳＴ１０１）、音声分析手段２００１で特徴ベクトルに変換され（ステップＳＴ１０２）、さらに音節列認識手段３００１で尤度最大の音節列に変換される（ステップＳＴ１０３）。いま、ユーザが、「音声を認識するなど」と発声したとする。このとき、音節列認識手段３００１の出力は、図２の発声Ａ“おんせえおにんしきするなど”に対して８割程度の認識誤りを含むため図２の音節列Ａのような“おんせんにんちするまど”となる。発声長推定手段４００５は、音節列認識手段３００１の出力の音節列に含まれる音節数（この場合は音節列Ａに含まれる音節数１１）が所定の値（この場合は３）を超えている（ステップＳＴ１０４）。このため、発声長推定手段４００５は、言語モデル切替手段４００６の切替器４００６ａを言語モデル４００３に切替える（ステップＳＴ１０５）。この結果、単語列探索手段４００１は、言語モデル４００３に記憶された単語連鎖の統計量を参照して、音節列認識手段３００１出力の音節列（この場合音節列Ａ）を単語列に変換し（ステップＳＴ１０６）、その文字がテキストバッファ５００１に一時記憶されると同時に、図３に例示される表示手段６００１によってユーザに表示される（ステップＳＴ１０７）。ユーザは表示手段６００１の表示に基づいてテキストバッファ５００１に一時記憶されたテキスト中の認識誤りを修正して（ステップＳＴ１０８、ステップＳＴ１０９）、最終的に所望のユーザテキスト７００１を得ることが可能である。
【００２２】
図３に例示される表示手段６００１は、たとえばディスプレイ等からなり、テキスト表示枠６００１ａ、編集ボタン枠６００１ｂ、カーソル６００１ｃ、マウスポインタ６００１ｄ、等で構成されている。編集ボタン枠６００１ｂには、保存ボタン６００１ｂ−１、貼付ボタン６００１ｂ−２、コピーボタン６００１ｂ−３等が表示されており、マウスポインタ６００１ｄにて各ボタンを指示することで、認識結果の表示テキストの各種編集操作が可能になっている。
【００２３】
図３は、上記発声Ａに対して、言語モデル４００３に基づいて得られる単語列Ａの表示例を示す。この場合、「音声を認識するなど」を「音声を認識する。」と誤って認識した様子を示す（この例では、「など」を「。（マル）」と誤認識している）。
【００２４】
この場合、認識誤りに対して、ユーザはユーザ操作６００２により修正手段６００３を介してテキストバッファ５００１内の文字に対して修正を行う。修正結果は表示手段６００１に表示される。修正方法として、修正部分を再発声して（ステップＳＴ１１０）、認識結果を上書きすることによる修正が可能である。このため、「。」を１字削除して図４の状態にする。その後、修正のため、「など」と再発声する（ステップＳＴ１０１）。この場合、再発声された入力音声は、音声分析手段２００１により、特徴ベクトルに変換され（ステップＳＴ１０２）、音節列認識手段３００１により、“まど”と音節列（図２の音節列Ｂ）に変換される（ステップＳＴ１０３）。この場合の音節数は２であり所定の値３未満であるため（ステップＳＴ１０４）、発声長推定手段４００５は言語モデル切替手段４００６に対して切替器４００６ａを短単語言語モデル４００４に切替えるよう指示する（ステップＳＴ１１１）。このため、単語列探索手段４００１は短単語言語モデル４００４を参照して音節列Ｂに対応する単語列を探索してその文字をテキストバッファ５００１に書き込む（ステップＳＴ１０６）。この結果は、表示手段６００１に“など”という単語がカーソル６００１ｃの直後に追加表示され、図５の表示が得られる（ステップＳＴ１０７）。
【００２５】
このように、「など」という発声については、発声長推定手段４００５が音節列認識手段３００１の出力の音節列の長さを所定の値と比較して短いと判断するため、短単語言語モデル４００４の統計量に基づいて、単語列探索手段４００１により最も確率の高い単語列が選択されて認識結果となるため、言語モデルの学習テキストには現れないかもしくは低頻度である単語列であっても、正しい“など”が認識される可能性が高まる。したがって、上記の例で、「。」を修正するため、「など」と再発声すると、「など」が通常の言語モデル４００３の学習テキストに無くても、短単語言語モデル４００４が参照されるため、正しく認識される可能性が高い。一方、従来のように発声長によらず常に言語モデル４００３を適用する場合は、“など”と再発声しても、依然として、単語“。”が認識されてしまい、ユーザの入力効率を著しく損なうことになる。
【００２６】
以上のように、本実施の形態では、発声長推定手段４００５にて発声長の長短を判別し、発声長が所定の値より短いとき、通常の言語モデル４００３の代わりに短単語言語モデル４００４を参照して単語列を探索するようにしているので、再発声による短い単語の認識性能が高くなり、たとえば認識結果の部分的な訂正作業の効率が向上し、より能率的に音声入力を実行することができる。
【００２７】
実施の形態２．
上述の実施の形態１では、入力音声の発声長が短いときに言語モデルを短単語言語モデルとするようにしたものであるが、次にさらに同音語記憶手段を追加する実施の形態を示す。
【００２８】
図６は、このような場合の構成図である。また、図１７は、本実施の形態の音声認識装置の作用の一例を示すフローチャートである。なお、前述の実施の形態１と同一の構成要素は同一の符号を付している。
【００２９】
図において、６２０１は音節列から引けるように同音語の文字を記憶した同音語記憶手段、６２０２は単語列探索手段の内部出力に含まれる単語列の音節データに基づいて、同音語記憶手段６２０１から同音語の候補を選択する同音語生成手段、６２０３は同音語生成手段６２０２が生成した同音語の候補を表示する同音語表示手段である。図７は表示手段６００１内における同音語表示手段６２０３の表示例を示す説明図である。
【００３０】
このような構成において、ユーザは、発声Ａに対して、“音声を認識する。”と誤認識したため、“。”を削除し（ステップＳＴ１０９、ステップＳＴ１１０）、短い発声Ｂをすると、音節列Ｂに対して、単語列探索手段４００１は、内部データとして、＜文字＝“など”、音節列＝“など”＞という単語列の情報を出力する（ステップＳＴ１０１〜ステップＳＴ１０４、ステップＳＴ１１１、ステップＳＴ２０１）。同音語生成手段６２０２は内部データに含まれる＜音節列＝など＞というデータ項目を得て同音語記憶手段６２０１に記憶された同音語データの中から＜音節列＝など＞を含む同音語の候補を得て同音語表示手段６２０３に表示する（ステップＳＴ２０２）。すなわち、本例では、図７に示すように同音語表示手段６２０３には“等”、“など”、“‥”、“ナド”の４候補が表示される。ユーザは候補番号をキーボードの数字キーで選ぶか、マウスポインタ６００１ｄで所望の候補をポイントすることにより所望の文字を選択することが可能であり（ステップＳＴ２０３）、選択された候補がカーソル位置に出力される（ステップＳＴ２０４）。
【００３１】
このように本実施の形態によれば、短い発声に対して、同音語表示手段６２０３にて同音語表示を行うので、短単語言語モデル４００４に同一の読みと表記が一致する単語がなくても、所望の候補を入力できる可能性が高まる。
【００３２】
実施の形態３．
上述の実施の形態１および実施の形態２では、カーソル６００１ｃの表示位置で示される文字挿入位置に関わらず発声長により、言語モデルを切替えるものであるが、本実施の形態３では、カーソル６００１ｃの表示位置で示される文字挿入位置に依存して、言語モデルを切替える例について説明する。
【００３３】
図８は、本実施の形態の構成図を示す。また、図１８は、本実施の形態の音声認識装置の作用の一例を示すフローチャートである。なお、前述の各実施の形態と同一の構成要素は同一の符号を付している。図８において、４００４ｂは文の部分を単語として切出しこれら部分単語の統計量を記憶した部分発声言語モデル、４００５ｂはカーソル６００１ｃの表示位置で示される文字挿入位置が文外にあるか、文中にあるかを判定する文字挿入位置判定手段である。
【００３４】
図９は、ユーザが前掲の図２の発声Ａ“おんせえおにんしきするなど”を行ったときに表示された認識テキストの例（“音声認識する。”と表示されている）である。この場合、助詞“を”が脱落しているため、ユーザは、助詞“を”を挿入するため、カーソル６００１ｃを認識直後のカーソル位置Ｐ０からカーソル位置Ｐ１まで移動する。その後、ユーザが図２の発声Ｃ“お”を行うと、文字挿入位置判定手段４００５ｂは、カーソル位置Ｐ１で示される文字挿入位置が、表示テキストの文内にあると判定し（ステップＳＴ３０１）、言語モデル切替手段４００６は切替器４００６ａを部分発声言語モデル４００４ｂ（第２言語モデル記憶手段）に切替える（ステップＳＴ１１１）。このため、単語列探索手段４００１は、部分発声言語モデル４００４ｂを参照して認識結果を作成するので（ステップＳＴ３０２）、単語列“を”が得られる可能性が高くなる。単語列探索手段４００１の出力は、その文字がテキストバッファ５００１に書き込まれ、表示手段６００１の表示は、カーソル位置Ｐ１（文字挿入位置）の直前に助詞“を”が挿入された表示となる（ステップＳＴ３０３）。
【００３５】
このように、本実施の形態によれば、編集操作による移動後のカーソル位置Ｐ１（文字挿入位置）が表示テキストの文内にあることを判定して、単語列探索で参照する言語モデルを部分発声言語モデル４００４ｂに切替えるので、一般文の言語モデル４００３では認識し難い部分発声を高い精度で入力できる。
【００３６】
実施の形態４．
この実施の形態４では、文字削除など特定のユーザ操作の直後だけ、上述の実施の形態１または実施の形態２の短単語処理を有効とする。
【００３７】
図１０は、本実施の形態の音声認識装置の構成図を示す。また、図１９は、本実施の形態の音声認識装置の作用の一例を示すフローチャートである。なお、前述の各実施の形態と同一の構成要素は同一の符号を付している。
【００３８】
図１０において、６００４はユーザ操作６００２によって生じるイベントを記憶するユーザ操作記憶手段である。また、４００５ｃは、ユーザ操作記憶手段６００４に記憶されたイベントを参照して、直前のユーザ操作がテキストバッファ５００１中の連続するｎ文字（ｎは自然数）の削除操作であった場合に、言語モデル切替手段４００６の切替器４００６ａを部分発声言語モデル４００４ｂ側に切り替える、ユーザ操作判定手段である。
【００３９】
このような構成において、ユーザが図２の発声Ａ“おんせえおにんしきするなど”を行ったときに、表示手段６００１に表示された認識テキストの例（“音声の認識する。”と表示されている）を図１１に示す。この場合、助詞“を”が助詞“の”に誤って認識されている。このため、ユーザは、助詞“の”を削除するため、カーソル６００１ｃを認識直後のカーソル位置Ｐ０から、カーソル位置Ｐ２まで移動する。さらに、ユーザは、削除キーを用いて、助詞“の”を削除する。図１２はこのときの表示を示す。カーソル位置Ｐ３は、“の”の削除後の位置にある。
【００４０】
ここまでのユーザによるカーソル移動および削除キーの操作はソフトウェアのイベントを発生することにより処理されており、これらのイベントはすべてユーザ操作記憶手段６００４に記憶されている。この状態で、ユーザが図２の発声Ｃ“お”を行うと、ユーザ操作判定手段４００５ｃは、直前のユーザ操作が１文字の削除であったと判定し（ステップＳＴ４０１）、さらに音節数が既定値よりも短いため（ステップＳＴ１０４）言語モデル切替手段４００６は切替器４００６ａを部分発声言語モデル４００４ｂに切替える（ステップＳＴ１１１）。このため、単語列探索手段４００１は、部分発声言語モデル４００４ｂを参照して認識結果を作成するので（ステップＳＴ４０２）、目的の単語列“を”が得られる可能性が高くなる。単語列探索手段４００１の出力は、その文字がテキストバッファ５００１に書き込まれ、表示手段６００１の表示は、図１３に示すようにカーソル位置Ｐ４の直前に助詞“を”が挿入された表示となる（ステップＳＴ４０３）。図１３では助詞“を”が正しく認識された例を示している。
【００４１】
このように、本実施の形態によれば、ユーザ操作により文字が削除された直後であることを判定して、単語列探索で参照する言語モデルを部分発声言語モデルに切替えるので、一般文言語モデルでは認識し難い部分発声を高い精度で入力できる。
【００４２】
なお、１文字の削除について説明したが、一般にｎを自然数としてｎ文字の削除であってもよい。また、削除と同じ効果をショートカットキーとして登録してあった場合も、ユーザ操作判定手段で直前のイベントを解析する部分の変更によって、同様の効果を奏する。
【００４３】
実施の形態５．
本実施の形態は、上記実施の形態４において、直前に削除された文字数が所定の値以下であるとき、実施の形態１または実施の形態２の短単語処理を有効とする。
【００４４】
すなわち、本実施の形態５では、上記実施の形態４の説明において、文字削除後、この状態で、ユーザが発声を行うと、ユーザ操作判定手段４００５ｃは、ユーザによって直前に削除された文字数が所定の値（ここでは、２文字）以下であるときだけ（ステップＳＴ５０１）、言語モデル切替手段４００６は切替器４００６ａを部分発声言語モデル４００４ｂに切替える。
【００４５】
このように、本実施の形態によれば、ユーザ操作により文字がたとえば行単位で削除された直後は、削除された行文字数が所定の値より大きいとすれば、通常の言語モデルを用いて発声を認識するので文章の音声認識ができ、また、所定の値以下の文字数の削除である場合は、単語列探索で参照する言語モデルを部分発声言語モデル４００４ｂに切替えるので、一般文の言語モデル４００３では認識し難い部分発声を高い精度で入力できる。
【００４６】
実施の形態６．
上述の実施の形態２では、同音語記憶手段を追加し、同音語の候補を選択できるように構成したものであるが、本実施の形態では、サブワード記憶手段を追加した例を示す。
【００４７】
図１４は、このような場合の音声認識装置の構成図である。また、図２０は本実施の形態の音声認識装置の作用の一例を示すフローチャートである。なお、前述の各実施の形態と同一の構成要素は同一の符号を付している。
【００４８】
ここで、サブワードとは、表記文字列と音節列の対応の最小単位である。例えば、「三菱電機は流石だ」（みつびしでんきはさすがだ）という句は、「三」（みつ），「菱」（びし），「電」（でん），「機」（き），「は」（は），「流石」（さすが），「だ」（だ）という７つのサブワードから構成される。このとき「」内は表記文字列を示し、（）内は対応する音節列である。単漢字では「流石」は「流」と「石」に分割できるが、単漢字に分割してしまうと（さすが）という読みに対応できなくなるので最小単位ではない。この点は単漢字とは異なる。
【００４９】
図１４において、６２０１ａは音節列から引けるようにサブワードの表記を記憶したサブワード記憶手段、６２０２ａは単語列探索手段の内部出力に含まれる音節に基づいて、サブワード記憶手段６２０１ａからサブワードの候補を選択するサブワード生成手段、６２０３ａはサブワード生成手段６２０２ａが生成した同音語の候補を表示するサブワード表示手段である。また、４００４ａは、サブワードの統計量を記憶したサブワード言語モデル（第２言語モデル記憶手段）である。図１５はサブワード表示手段６２０３ａの表示例を示す図である。サブワード表示手段６２０３ａは、表示手段６００１の表示領域内に表示窓して表示される。
【００５０】
このような構成において、ユーザは、前掲の発声Ａに対して、“音声を認識する。”と誤認識したため、“。”を削除し、短い発声Ｂをすると（ステップＳＴ１０４、ステップＳＴ１１１）、音節列Ｂに対して、単語列探索手段４００１は、サブワード言語モデル４００４ａを参照して、内部データとして、＜＜文字＝“窓”、音節列＝“まど”＞＜文字＝“等”、音節列＝“など”＞＜文字＝“灘”、音節列＝“なだ”＞＜文字＝“ま”、音節列＝“ま”，文字＝“ま”、音節列＝“ど”＞＜文字＝“真”、音節列＝“ま”，文字＝“土”、音節列＝“ど”＞…（途中省略）…＜文字＝“茄”、音節列＝“な”，文字＝“舵”、音節列＝“だ”＞＜文字＝“ナ”、音節列＝“な”，文字＝“ダ”、音節列＝“だ”＞＞というサブワード列の情報を出力する（ステップＳＴ６０１）。
【００５１】
サブワード生成手段６２０２ａは内部データに含まれる＜音節列＝など＞というデータ項目を得てサブワード記憶手段６２０１ａに記憶されたサブワードデータの中から＜音節列＝など＞＜音節列＝ま＞＜音節列＝ど＞＜音節列＝な＞＜音節列＝だ＞を含むサブワードの候補を得てサブワード表示手段６２０３ａに表示する。すなわち、本例では、図１５に示すようにサブワード表示手段６２０３ａには“窓”、“等”、“灘”、“ま”、“真”他の４０候補が表示される（ステップＳＴ６０２）。マウスポインタ６００１ｄで所望の候補をポイントすることにより所望の文字を選択入力することが可能である（ステップＳＴ６０３、ステップＳＴ６０４）。
【００５２】
このように本実施の形態によれば、サブワード表示手段６２０３ａにて、短い発声に対して、サブワード分割した候補表示を行うので、サブワード言語モデル４００４ａに同一の読みと表記の単語が存在しなくとも所望の候補を入力できる。例えば、サブワード言語モデル４００４ａに「など」という発音の「名土」という固有名詞が登録されていなくとも、サブワード候補から「名」と「土」を選択入力することにより目的を達成できる。
【００５３】
上記した特許請求の範囲に記載されたこの発明を見方を変えて表現すれば以下のとおりである。
【００５４】
（１）．単語の統計量を記憶した言語モデル記憶手段と、該言語モデル記憶手段に記憶された単語の統計量を参照して、入力音声を文字列に変換する探索手段と、該探索手段で変換された文字列を表示する表示手段とを備える音声認識装置において、前記入力音声の発声長を推定する発声長推定手段と、短い単語の統計量を記憶した短単語言語モデル記憶手段と、前記探索手段は前記発声長推定手段が推定した発声長が所定の長さより短いとき、前記短単語言語モデル記憶手段に記憶された短い単語の統計量を参照して入力音声を文字列に変換する手段であることを特徴とする音声認識装置。
【００５５】
（２）．単語の統計量を記憶した言語モデル記憶手段と、該言語モデル記憶手段に記憶された単語の統計量を参照して、入力音声を文字列に変換する探索手段と、該探索手段で変換された文字列を表示する表示手段とを備える音声認識装置において、前記入力音声の発声長を推定する発声長推定手段と、短い単語の統計量を記憶した短単語言語モデル記憶手段と、前記探索手段の文字列から同音語を生成する同音語生成手段と、同音語生成手段の生成した同音語リストを表示する同音語表示手段を設け、前記探索手段は、前記発声長推定手段が推定した発声長が所定の長さより短いとき、前記短単語言語モデル記憶手段に記憶された短い単語の統計量を参照して入力音声を文字列に変換することを特徴とする音声認識装置。
【００５６】
（３）．単語の統計量を記憶した言語モデル記憶手段と、該言語モデル記憶手段に記憶された単語の統計量を参照して、入力音声を文字列に変換する探索手段と、該探索手段で変換された文字列を表示する表示手段とを備える音声認識装置において、前記表示手段に表示されるカーソルの位置が文章の内部にあることを判定する文字挿入位置判定手段と、文章の部分を単語として切出しこれら単語の統計量を記憶した部分発声言語モデル記憶手段と、前記探索手段は前記文字挿入位置判定手段が前記表示手段に表示されるカーソルの位置が文章の内部にあると判定したとき、前記部分発声言語モデル記憶手段に記憶された文章の部分を単語として切出して得られる単語の統計量を参照して入力音声を文字列に変換する手段であることを特徴とする音声認識装置。
【００５７】
（４）．単語の統計量を記憶した言語モデル記憶手段と、該言語モデル記憶手段に記憶された単語の統計量を参照して、入力音声を文字列に変換する探索手段と、該探索手段で変換された文字列を表示する表示手段と、該表示手段の表示内容を修正するユーザ操作手段を備える音声認識装置において、前記ユーザ操作を記憶するユーザ操作記憶手段と、前記ユーザ操作記憶手段に記憶されたユーザ操作を判定するユーザ操作判定手段と、文章の部分を単語として切出しこれら単語の統計量を記憶した部分発声言語モデル記憶手段と、前記探索手段は前記ユーザ操作判定手段が直前のユーザ操作が文字の削除であると判定したとき前記部分発声言語モデル記憶手段に記憶された文章の部分を単語として切出して得られる単語の統計量を参照して入力音声を文字列に変換する手段であることを特徴とする音声認識装置。
【００５８】
（５）．単語の統計量を記憶した言語モデル記憶手段と、該言語モデル記憶手段に記憶された単語の統計量を参照して、入力音声を文字列に変換する探索手段と、該探索手段で変換された文字列を表示する表示手段と、該表示手段の表示内容を修正するユーザ操作手段を備える音声認識装置において、前記ユーザ操作を記憶するユーザ操作記憶手段と、前記ユーザ操作記憶手段に記憶されたユーザ操作を判定するユーザ操作判定手段と、文章の部分を単語として切出しこれら単語の統計量を記憶した部分発声言語モデル記憶手段と、前記探索手段は前記ユーザ操作判定手段が直前のユーザ操作が所定の数以下の文字の削除であると判定したとき前記部分発声言語モデル記憶手段に記憶された文章の部分を単語として切出して得られる単語の統計量を参照して入力音声を文字列に変換する手段であることを特徴とする音声認識装置。
【００５９】
（６）．単語の統計量を記憶した言語モデル記憶手段と、該言語モデル記憶手段に記憶された単語の統計量を参照して、入力音声を文字列に変換する探索手段と、該探索手段で変換された文字列を表示する表示手段とを備える音声認識装置において、サブワードの統計量を記憶したサブワード言語モデル記憶手段と、前記探索手段は前記サブワード言語モデル記憶手段に記憶されたサブワードの統計量と認識誤り傾向の確率モデルを参照して入力音声を文字列に変換する手段であることを特徴とする音声認識装置。
【００６０】
（７）．単語の統計量を記憶し、該記憶された単語の統計量を参照して、入力音声を文字列に変換し、該変換された文字列を表示するとともに、前記単語の統計量とは別に短い単語の統計量を記憶し、入力音声を文字列に変換する際、入力音声の発声長を推定し、前記推定した発声長が所定の長さより短いとき、前記記憶された短い単語の統計量を参照して入力音声を文字列に変換することを特徴とする音声認識方法。
【００６１】
（８）．単語の統計量を記憶し、該記憶された単語の統計量を参照して、入力音声を文字列に変換し、該変換された文字列を表示する音声認識方法において、前記単語の統計量とは別に短い単語の統計量を記憶し、前記入力音声の発声長を推定し、前記推定された入力音声の発声長が所定の長さより短いとき、前記記憶した短い単語の統計量を参照して入力音声を文字列に変換するとともに、前記変換された文字列から同音語を生成し、該生成した同音語のリストを表示することを特徴とする音声認識方法。
【００６２】
（９）．単語の統計量を記憶し、該記憶された単語の統計量を参照して、入力音声を文字列に変換し、該変換された文字列と文字挿入位置を示すカーソルとを表示する音声認識方法において、前記単語の統計量とは別に文章の部分を単語として切出して得られる単語の統計量を記憶し、入力音声を文字列に変換する際に、前記表示されるカーソルの位置が文章の内部にあることを判定し、前記表示されるカーソルの位置が文章の内部にあると判定したとき、前記記憶された文章の部分を単語として切出して得られる単語の統計量を参照して入力音声を文字列に変換することを特徴とする音声認識方法。
【００６３】
（１０）．単語の統計量を記憶し、該記憶された単語の統計量を参照して、入力音声を文字列に変換し、該変換された文字列を表示し、該表示された表示内容を修正するユーザの操作を記憶し、前記記憶されたユーザ操作を判定し、前記単語の統計量とは別に文章の部分を単語として切出して得られる単語の統計量を記憶し、入力音声を文字列に変換するに際し、直前のユーザ操作が文字の削除であると判定したとき前記記憶された文章の部分を単語として切出して得られる単語の統計量を参照して入力音声を文字列に変換することを特徴とする音声認識方法。
【００６４】
（１１）．単語の統計量を記憶し、該記憶された単語の統計量を参照して、入力音声を文字列に変換し、該変換された文字列を表示し、該表示された表示内容を修正するユーザ操作を記憶し、前記記憶されたユーザ操作を判定し、前記単語の統計量とは別に文章の部分を単語として切出して得られる単語の統計量を記憶し、入力音声を文字列に変換するに際し、前記直前のユーザ操作が所定の数以下の文字の削除であると判定したとき前記記憶された文章の部分を単語として切出して得られる単語の統計量を参照して入力音声を文字列に変換することを特徴とする音声認識方法。
【００６５】
（１２）．単語の統計量を記憶し、記憶された単語の統計量を参照して、入力音声を文字列に変換するとともに、変換された文字列を表示し、サブワードの統計量を記憶するとともに、サブワードの統計量と認識誤り傾向の確率モデルを参照することにより、入力音声を文字列に変換することを特徴とする音声認識方法。
【００６６】
（１３）．単語の統計量を記憶した言語モデル記憶する第１の手順と、該記憶された単語の統計量を参照して、入力音声を文字列に変換する第２の手順と、該探索手段で変換された文字列を表示する第３の手順と、前記入力音声の発声長を推定する第４の手順と、短い単語の統計量を記憶する第５の手順と、上記第２の手順は前記第４の手順の実行の結果推定した発声長が所定の長さより短いとき、前記第５の手順の実行の結果記憶された短い単語の統計量を参照して入力音声を文字列に変換する手順を実行させるための音声認識プログラム。
【００６７】
（１４）．単語の統計量を記憶する第１の手順と、該記憶された単語の統計量を参照して、入力音声を文字列に変換する第２の手順と、該変換された文字列を表示する第３の手順と、前記入力音声の発声長を推定する第４の手順と、短い単語の統計量を記憶する第５の手順と、前記第２の手順により変換された文字列から同音語を生成する第６の手順と、前記生成された同音語のリストを表示する第７の手順と、上記第２の手順は前記推定された発声長が所定の長さより短いとき、前記記憶された短い単語の統計量を参照して入力音声を文字列に変換する手順を実行させるための音声認識プログラム。
【００６８】
（１５）．単語の統計量を記憶する第１の手順と、該記憶された単語の統計量を参照して、入力音声を文字列に変換する第２の手順と、該変換された文字列を表示する第３の手順と、前記表示されるカーソルの位置が文章の内部にあることを判定する第４の手順と、文章の部分を単語として切出して得られる単語の統計量を記憶する第５の手順と、上記第２の手順は前記表示されるカーソルの位置が文章の内部にあると判定したとき、前記記憶された文章の部分を単語として切出して得られる単語の統計量を参照して入力音声を文字列に変換する手順を実行させるための音声認識プログラム。
【００６９】
（１６）．単語の統計量を記憶する第１の手順と、該記憶された単語の統計量を参照して、入力音声を文字列に変換する第２の手順と、該変換された文字列を表示する第３の手順と、該表示された表示内容を修正するユーザ操作を入力する第４の手順と、前記ユーザ操作を記憶する第５の手順と、前記記憶されたユーザ操作を判定する第６の手順と、文章の部分を単語として切出して得られる単語の統計量を記憶する第７の手順と、上記第２の手順は前記入力音声を文字列に変換する際に、前記直前のユーザ操作が文字の削除であると判定したとき前記記憶された文章の部分を単語として切出して得られる単語の統計量を参照して入力音声を文字列に変換する手順とを実行させるための音声認識プログラム。
【００７０】
（１７）．単語の統計量を記憶する第１の手順と、該記憶された単語の統計量を参照して、入力音声を文字列に変換する第２の手順と、該変換された文字列を表示する第３の手順と、該表示された表示内容を修正するユーザ操作を入力する第４の手順と、前記記憶されたユーザ操作を判定する第５の手順と、文章の部分を単語として切出して得られる単語の統計量を記憶する第６の手順と、上記第２の手順は直前のユーザ操作が所定の数以下の文字の削除であると判定したとき前記記憶された文章の部分を単語として切出して得られる単語の統計量を参照して入力音声を文字列に変換する手順を実行させるための音声認識プログラム。
【００７１】
（１８）．単語の統計量を記憶する第１の手順と、上記第１の手順に記憶された単語の統計量を参照して、入力音声を文字列に変換する第２の手順と、第２の手順で変換された文字列を表示する第３の手順と、サブワードの統計量を記憶した第４の手順と、上記第２の手順は第４の手順に記憶されたサブワードの統計量と認識誤り傾向の確率モデルを参照して入力音声を文字列に変換する手順を実行させるための音声認識プログラム。
【００７２】
【発明の効果】
この発明によれば、音声認識において、通常の音声入力や誤認識部分の再発声による修正に際して、言語モデルの学習用文例における出現頻度の小さい単語や単語列の認識誤りを減少させることができる。
【００７３】
また、この発明によれば、言語モデルに存在しない単語を容易に音声入力することが可能となり、音声認識結果の編集や訂正等の作業効率の向上を実現できる。
【図面の簡単な説明】
【図１】この発明の実施の形態１である音声認識装置の構成例を示すブロック図である。
【図２】この発明の実施の形態１である音声認識装置における認識結果の一例を示す説明図である。
【図３】この発明の実施の形態１である音声認識装置における単語列の表示例を示す説明図である。
【図４】この発明の実施の形態１である音声認識装置における１字削除結果の表示例を示す説明図である。
【図５】この発明の実施の形態１である音声認識装置における訂正結果の表示例を示す説明図である。
【図６】この発明の実施の形態２である音声認識装置の構成例を示すブロック図である。
【図７】この発明の実施の形態２である音声認識装置における同音語表示窓の表示例を示す説明図である。
【図８】この発明の実施の形態３である音声認識装置の構成例を示すブロック図である。
【図９】この発明の実施の形態３である音声認識装置における認識結果の表示例を示す説明図である。
【図１０】この発明の実施の形態４である音声認識装置の構成例を示すブロック図である。
【図１１】この発明の実施の形態４である音声認識装置における認識結果の表示例を示す説明図である。
【図１２】この発明の実施の形態４である音声認識装置における認識結果の削除例を示す説明図である。
【図１３】この発明の実施の形態４である音声認識装置における認識結果の挿入例を示す説明図である。
【図１４】この発明の実施の形態６である音声認識装置の構成例を示すブロック図である。
【図１５】この発明の実施の形態６である音声認識装置における認識結果の表示例を示す説明図である。
【図１６】この発明の実施の形態１である音声認識装置の作用の一例を示すフローチャートである。
【図１７】この発明の実施の形態２である音声認識装置の作用の一例を示すフローチャートである。
【図１８】この発明の実施の形態３である音声認識装置の作用の一例を示すフローチャートである。
【図１９】この発明の実施の形態４および実施の形態５である音声認識装置の作用の一例を示すフローチャートである。
【図２０】この発明の実施の形態６である音声認識装置の作用の一例を示すフローチャートである。
【符号の説明】
１００１　入力音声、２００１　音声分析手段、３００１　音節列認識手段、３００２　音響モデル、４００１　単語列探索手段、４００２　差分モデル、４００３　言語モデル、４００４　短単語言語モデル、４００４ａ　サブワード言語モデル、４００４ｂ　部分発声言語モデル、４００５　発声長推定手段、４００５ｂ　文字挿入位置判定手段、４００５ｃ　ユーザ操作判定手段、４００６　言語モデル切替手段、４００６ａ　切替器、５００１　テキストバッファ、６００１　表示手段、６００１ａ　テキスト表示枠、６００１ｂ　編集ボタン枠、６００１ｂ−１　保存ボタン、６００１ｂ−２　貼付ボタン、６００１ｂ−３　コピーボタン、６００１ｃ　カーソル、６００１ｄ　マウスポインタ、６００２　ユーザ操作、６００３　修正手段、６００４　ユーザ操作記憶手段、６２０１　同音語記憶手段、６２０１ａ　サブワード記憶手段、６２０２　同音語生成手段、６２０２ａ　サブワード生成手段、６２０３　同音語表示手段、６２０３ａ　サブワード表示手段、７００１　ユーザテキスト、Ｐ０〜Ｐ４　カーソル位置。
【図１】
2004126143.tif 000003
【図２】
2004126143.tif 000004
【図３】
2004126143.tif 000005
【図４】
2004126143.tif 000006
【図５】
2004126143.tif 000007
【図６】
2004126143.tif 000008
【図７】
2004126143.tif 000009
【図８】
2004126143.tif 000010
【図９】
2004126143.tif 000011
【図１０】
2004126143.tif 000012
【図１１】
2004126143.tif 000013
【図１２】
2004126143.tif 000014
【図１３】
2004126143.tif 000015
【図１４】
2004126143.tif 000016
【図１５】
2004126143.tif 000017
【図１６】
2004126143.tif 000018
【図１７】
2004126143.tif 000019
【図１８】
2004126143.tif 000020
【図１９】
2004126143.tif 000021
【図２０】
2004126143.tif 000022