(57)【要約】  モバイルデバイスに対して話した情報を入力するために、音声および代替手法による入力の両方が用いられる。これら代替手法による入力は音声認識結果内のワードの逐次的確定を遂行するために用いることができる。
2009514020.tif 000002
【特許請求の範囲】
【請求項１】
モバイルデバイス（１０）内に情報を入力する方法であって、
ユーザ（５５６）からマルチワード音声入力（５５２）を受信するステップ（６０２）と、
前記音声入力（５５２）に関して音声認識（２００）を遂行することで、音声認識結果を
得るステップと、
前記音声認識結果（５６０）をユーザによる確認または訂正（６０６）のために、一度に１ワードずつ逐次的に表示するステップ（６０４）と、を含むことを特徴とする方法。
【請求項２】
更に、ユーザによる所与の表示されたワードの訂正または確認を示すユーザ入力（５５４）を受信するステップ（６０６）を含むことを特徴とする請求項１記載の方法。    
【請求項３】
前記音声認識を遂行するステップは、前記音声入力（５５２）に対応する一連のそれらしいワードを計算するステップ（６５２）を有し、更に、
音声認識結果のディスプレイに次のワードを加える前にそして前記所与の表示されたワードの後に、前記一連のそれらしいワードを、前記所与の表示されたワードに対するユーザによる訂正または確認（６８４）を示すユーザ入力（５５４）に基づいて、再計算するステップ（６９６）、を含むことを特徴とする請求項１記載の方法。    
【請求項４】
前記表示するステップは、前記ディスプレイに次のワードを、前記一連のそれらしいワードの再計算（６９６）に基づいて、加えるステップ（６８２）を含むことを特徴とする請求項３記載の方法。    
【請求項５】
ユーザ入力を受信するステップ（６８４）は、
前記モバイルデバイス（１０）上でのユーザによる入力機構（５５４）の作動を示す代替手法による入力（５５４）を受信するステップを含むことを特徴とする請求項２記載の方法。  
【請求項６】
前記音声認識を遂行するステップは、
複数の音声認識仮説を示す仮説ラチス（５６０）を前記音声入力（５５２）に基づいて計算するステップ（６５２）を含むことを特徴とする請求項１記載の方法。    
【請求項７】
仮説ラチス（５６０）を計算するステップ（６５２）は、
前記仮説ラチスの計算（６５２）を終える前に、
予備的仮説ラチス（５６０）を出力するステップ（６５８）と、その後、
前記仮説ラチス（５６０）の計算（６５２）を継続するステップと、を含み、
前記音声認識結果をユーザによる訂正または確認のために逐次的に表示するステップ（６０４）は、前記音声認識結果を、最初に、前記予備的仮説ラチス（５６０）を用いて、前記仮説ラチス（５６０）が完全に計算される（６５４）まで表示するステップと、その後、前記音声認識結果を、前記完全に計算された仮説ラチス（５６０）を用いて表示するステップ（６６０）と、を含むことを特徴とする請求項６記載の方法。
【請求項８】
前記音声認識結果を、１度に１ワードずつ、逐次的に表示するステップ（６０４）は、
最良の仮説ワードを表示するステップ（６８２）と、
前記最良の仮説に近い代替ワードのリスト（５０３）を表示するステップと、を含むことを特徴とする請求項５記載の方法。    
【請求項９】
代替手法による入力を受信するステップは、
前記代替ワードの１つのユーザによる選択を受信するステップ（６８４）を含むことを特徴とする請求項８記載の方法。    
【請求項１０】
前記代替手法による入力を受信するステップは、
ユーザによる所望のワードの、１度に１字の入力を表すユーザによるタイピング入力を受信するステップ（６０６）を含むことを特徴とする請求項８記載の方法。    
【請求項１１】
モバイルデバイス（１０）であって、
音声認識器（２００）と、
ユーザインタフェースコンポーネント（１７）と、を備え、
前記ユーザインタフェースコンポーネント（１７）は、前記音声認識器（２００）からマルチワード音声入力（５５２）の認識を示す音声認識結果（５６０）を受信し、前記音声認識結果（５６０）を、音声認識結果（５６０）内の次のワードが該音声認識結果（５６０）内の前に出力されたワードがユーザ（５５６）に確認または訂正された（６０６）後に始めて出力されるようなやり方にて、逐次的に出力する（６０４）ように構成されたことを特徴とするモバイルデバイス（１０）。
【請求項１２】
更に、ディスプレイ（３４）を備え、
前記ユーザインタフェースコンポーネント（１７）は、前記音声認識結果を、前記音声認識結果を前記ディスプレイ（３４）上に逐次的に表示することで出力するように構成されたことを特徴とする請求項１１記載のモバイルデバイス（１０）。
【請求項１３】
前記ユーザインタフェースコンポーネント（１７）は、所与の表示されたワードに対する代替として複数の代替ワード（５０３）を、前記音声認識結果（５６０）と共に表示するように構成されたことを特徴とする請求項１２記載のモバイルデバイス（１０）。
【請求項１４】
前記音声認識器（２００）は、それらしい一連のワードを計算する（６５２）ことによって前記音声認識結果（５６０）を前記ユーザインタフェースコンポーネント（１７）に提供するように構成され、
前記音声認識器（２００）は、ユーザによる表示されたワードの確認または訂正に基づいて前記それらしい一連のワードを再計算する（６９６）ように構成され、
前記ユーザインタフェースコンポーネント（１７）は、前記一連のそれらしいワードの再計算（６９６）に基づいて次のワードを表示するように構成されたことを特徴とする請求項１２記載のモバイルデバイス（１０）。
【請求項１５】
前記音声認識器（２００）は、前記音声認識結果（５６０）を、予備的なそれらしい一連のワードを出力する（６５８）ことで提供し、
前記ユーザーインタフェースコンポーネント（１７）は、前記音声認識結果（５６０）を前記ユーザに対して、最初は、前記予備的なそれらしい一連のワードに基づいて表示するように構成されたことを特徴とする請求項１２記載のモバイルデバイス（１０）。
【請求項１６】
モバイルデバイス（１０）上のユーザインタフェースであって、
ユーザにて作動可能な入力手法コンポーネント（２４）と、
ディスプレイ（３４）と、
ユーザインタフェースコンポーネント（１７）と、を含み、
前記ユーザインタフェースコンポーネント（１７）はマルチワード音声入力（５５２）を示すワードのリストを表示するように構成され、
前記リスト内の各々のワードは、ユーザによる確認または訂正（６０６）のために、前記リスト内の次のワードを表示する前に、逐次的に表示される（６０４）ことを特徴とするユーザインタフェース。
【請求項１７】
前記ユーザインタフェースコンポーネント（１７）は、表示されたワードのユーザによる訂正または確認を示す訂正または確認情報（５５４）を、前記マルチワード音声入力（５５２）を示すそれらしいワードの残りの部分を再計算する（６９６）ために音声認識システム（２００）に提供するように構成されたことを特徴とする請求項１６記載のユーザインタフェース。
【請求項１８】
前記ユーザによる確認または訂正は、前記ユーザにて作動可能な入力手法コンポーネント（２４）を通じて提供されることを特徴とする請求項１６記載のユーザインタフェース。
【請求項１９】
前記ユーザにて作動可能な入力手法コンポーネント（２４）は、キーパッド（３２、５１０）、ソフトキーボード（５１４）、手書き入力コンポーネント（４２）またはタッチスクリーン（３４）の１つを含むことを特徴とする請求項１８記載のユーザインタフェース。
【請求項２０】
前記ユーザインタフェースコンポーネント（１７）は、ユーザによる選択のため、代替ワード（５０３）のセットを前記リスト内の各々のワードと共に表示するように構成されたことを特徴とする請求項１６記載のユーザインタフェース。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声または代替入力手法による入力が可能なモバイルデバイス、またそのようなモバイルデバイスへの入力方法に関する。
【背景技術】
【０００２】
比較的小さなモバイルデバイス、例えば、セルラ電話および携帯情報端末上へのテキスト入力は、このようなデバイスに対するアプリケーションの使用の増加に起因して、ますます一般化しつつある。幾つかのこのようなアプリケーションには、電子メール（ｅ−メール）およびショートメッセージサービス（ＳＭＳ）が含まれる。
【０００３】
しかし、携帯電話、携帯情報端末（ＰＤＡ）および他のこのようなモバイルデバイスは、一般にはデスクトップコンピュータ上のそれと同じくらい便利なキーボードは有さない。例えば、携帯電話は、そこでは複数の文字が同じキーにマッピングされるテンキーしか有さない傾向がある。幾つかのＰＤＡは、スタイラスまたは類似する項目から入力を受信するタッチセンシティブスクリーンしか有さない。
【０００４】
このため、このようなデバイスは、現状においては、ユーザがテキストをテンキーもしくはタッチスクリーンまたは他の入力デバイスを通じて、多くの異なる方法の１つを用いて入力できるインタフェースを提供している。１つのこのような方法は、決定論的インタフェースであり、マルチタップインタフェースとして知られている。このマルチタップインタフェースにおいては、ユーザは、数値キーを、どの対応する文字をユーザが必要とするかに基づいて、与えられた回数だけ押す。例えば、キーパッドが、文字「ａｂｃ」に対応する数値「２」なるキーを有するときは、キーストローク「２」は「ａ」に対応し、キーストローク「２２」は「ｂ」に対応し、キーストローク「２２２」は「ｃ」に対応し、そして、キーストローク「２２２２」は数値「２」に対応する。もう１例においては、キーストローク入力８  ４４  ４４４  ７７７は「ｔｈｉｓ」なるワードに対応する。
【０００５】
もう１つの既知のタイプのインタフェースは予測システムであり、Ｔｅｇｉｃ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓによるＴ９インタフェースとして知られている。このＴ９インタフェースは、ユーザが、所望の文字に対応するキーを１度押すと、前のキーストロークシーケンスを用いて、所望のワードを予測する。これによると、キーを押す回数は低減されるが、このタイプの予測インタフェースは、キーシーケンスが同じであるワードに起因する曖昧さの問題に悩まされる。例えば、キーシーケンス「４６６３」は、「ｈｏｍｅ」、「ｇｏｏｄ」、「ｇｏｎｅ」、「ｈｏｏｄ」または「ｈｏｎｅ」なるワードのいずれにも対応する。このような状況においては、このインタフェースは、キーシーケンスから生成される予測されたワードのリストを表示し、ユーザは、「ｎｅｘｔ」なるキーを押すことで、これら代替を通じてスクロールする。更に、このインタフェースの辞書外または語彙外のワードは予測することができないために、Ｔ９タイプのインタフェースは、通常は、語彙外のワードを扱うために、他のフォールバック戦略、例えば、マルチタップと結合される。
【０００６】
幾つかの現在のインタフェースは、更に、ワード完結およびワード予測をサポートする。例えば、（「ｇｏｏ」なる文字に対応する）「４６６」なる初期のキーシーケンスに基づいて、人は、「ｇｏｏｄ」なるワードを予測することができる。同様に、（「ｍｏｒｎ」なる文字に対応する）「６６７６」なる初期のキーシーケンスから、人は、「ｍｏｒｎｉｎｇ」なるワードを予測することができる。同様に、「ａ」なるワードを、ｎ−グラム言語モデル予測に基づいて、「ｔｈｉｓ  ｉｓ」なるワードシーケンスに続く、次のワードであると予測することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
これらインタフェースのどれも、本当の意味でも高速テキスト入力とは言い難い。事実、これら方法のユーザは、未熟な場合には、しばしば、毎分５−１０ワードのテキスト入力速度しか達成できない。
【０００８】
このような通信デバイス上での情報入力帯域幅を増加させるために、幾つかのデバイスは、音声認識を実装する。音声は比較的高い通信帯域幅を有するが、これがおおむね２５０ワード/分にて推定される。しかし、従来の自動音声認識システムを用いてのテキスト入力に対する帯域幅は、現実には、ユーザが現在の音声認識システムでは必然的に発生する音声認識エラーをチェックおよび訂正するために消費する時間のため、もっと低速となる。
【０００９】
より詳細には、幾つかの現在の音声ベースのテキスト入力方法においては、ユーザは、音声を、各ワード間に少しの休止期間をおいて吹き込むことで、テキストをセルラ電話機内に入力することができる。音声認識システムは、すると、認識結果を表示する。ところが、直接の吹き込みでは、とりわけ、雑音が存在する場合には、しばしばエラーが発生する結果となるために、ユーザは、認識結果内の誤りを選択し、次に、これらを代替リストまたはフォールバック入力方法を用いて訂正しなければならない。
【００１０】
孤立単語認識においては、ユーザは、一度に1ワードのみを話すことを要求される。この１ワードが処理され、出力される。ユーザは、次にそのワードを訂正する。孤立単語認識では、確かに、認識の精度は向上するが、孤立単語認識インタフェースは不自然であり、データ入力速度は、ユーザは一度にフレーズまたはセンテンス全体を話すことが許される連続音声認識を用いたときに達成されるそれよりも低くなる。
【００１１】
しかし、連続音声認識においては、エラーの訂正が大きな問題となる。従来、連続音声認識に対する音声認識結果は、フレーズまたはセンテンス全体に対する最良の仮説を表示することで提示されてきた。エラーを訂正するために、ユーザは、次に、誤認されたワードを選択し、代替を、ドロップダウンリストから選択する。エラーはしばしば、グループでワードの境界を越えて発生するために、多くのシステムでは、誤認されたフレーズ全体を訂正することができるようになっている。例えば、「ｃａｎ  ｙｏｕ  ｒｅｃｏｇｎｉｚｅ  ｓｐｅｅｃｈ」なる発声が、「ｃａｎ  ｙｏｕ  ｗｒｅｃｋ  ａ  ｎｉｃｅ  ｂｅａｃｈ」として誤認されることもある。このようなケースにおいては、この誤認を、一度に１ワードずつ訂正することは、ワードのセグメンテーションが誤っているために全く不可能である。こうして、ユーザは、「ｗｒｅｃｋ  ａ  ｎｉｃｅ  ｂｅａｃｈ」なるフレーズを選択し、このフレーズ全体に対する代替を選択することを要求される。
【００１２】
このようなアプローチは、認識の精度が高く、そして、ポインティングデバイス、例えば、マウスが利用可能であるときは良く機能するかも知れないが、ポインタを備えず、しかも十分な認識精度を想定することができないモバイルデバイス上では、通常雑音環境および限られたプロセッサ容量の下にあるため、厄介なものとなる。ハードウェアボタン、キーパッドもしくはタッチスクリーン等しか備えないデバイス上で、ユーザが訂正のためさまざまなワードを選択することを、キーストロークを妥当な数に保ちながら可能にするようなインタフェースを設計することは困難である。
【００１３】
上述の説明は単に一般的背景情報を提供するためのものであり、請求される主題事項の範囲を決定するための助けとして用いられることを意図されるものではない。
【課題を解決するための手段】
【００１４】
本発明は、情報をモバイルデバイス内に伝送するために、音声と代替手法による入力（例えばキーパッド入力）との組み合わせを用いる。ユーザは複数のワード（例えば、フレーズまたはセンテンス）を含む言葉を話し込む。すると、音声認識結果が、ユーザに対し、一度に１ワードずつ、確認または訂正のために提示される。ユーザには、スクリーン上に、最良の仮説および選択リストが、一度に１ワードずつ、最初のワードから開始して提示される。スクリーン上に提示された最良の仮説ワードが正しいときは、ユーザは、単にそれを指し示すだけである。正しくないときは、もし所望のワードが代替リスト内に存在するときは、ユーザは迅速に代替リストを探索し、そのワードを、多様な代替入力手法の１つを用いて入力するが、この際、ユーザの側には、非常に僅かな労力（例えば、僅かな回数のボタン押すことや、キーストロークなど）しか要求されない。
【００１５】
１つの実施例においては、ユーザは、そのワードの入力を、もしそれが代替リスト上に見つからないときは、キーパッドを用いて開始することができる。同様にして、１つの実施例においては、システムは、最良仮説ワードおよび代替リストを、そのワードのプレフィックスに対するキーパッド入力、音声認識結果のラチス、既に訂正された現在のワードに先行するワード、言語モデル、その他からの情報を結合することで得られる事後確率を用いて、再計算する。このプロセスが、入力センテンス内のその後のワードに対して反復される。
【００１６】
他の入力手法、例えば、ソフトキーボード、タッチスクリーン入力、手書き入力等を、キーパッド入力の代わりに、またはこれに加えて用いることもできる。
【００１７】
この要約は、詳細な説明において以下に詳しく説明される概念の抜粋を簡素化された形態にて紹介することを目的とするものであり、この要約は請求される主題事項の鍵となる特徴または必須の特徴を特定することを意図するものでも、または請求される主題事項の範囲の決定を助けるものとして使用されることを意図するものでもない。
【発明を実施するための最良の形態】
【００１８】
本発明は、モバイルデバイス上でのテキスト入力の効率およびロバスト性を向上させるための音声および代替入力手法の組み合わせを扱う。しかし、本発明をより詳細に説明する前に、本発明を使用することができる１つの例示的環境について説明される。
【００１９】
以下の図１に示されているコンピューティングデバイス１０は典型的には少なくとも幾つかの形態のコンピュータ可読媒体を含む。コンピュータ可読媒体はデバイス１０によってアクセスすることができる任意の利用可能な媒体であり得る。例示として、これに限られるものではないが、コンピュータ可読媒体には、コンピュータ記憶媒体と通信媒体とが含まれる。コンピュータ記憶媒体には、例えば、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を格納するための任意の方法または技術にて実装された揮発性/不揮発性の取り外し可能/取り外し不能な媒体が含まれる。コンピュータ記憶媒体には、これに限られるものではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）もしくは他の光学的記憶、磁気カセット、磁気テープ、磁気ディスク記憶もしくは他の磁気記憶デバイス、または所望の情報を格納するために使用することができ、デバイス１０の一部である、もしくはこれによってアクセスすることができる任意の他の媒体が含まれる。通信媒体は、典型的には、変調されたデータ信号、例えば、搬送波もしくは他の搬送メカニズム内の、コンピュータ可読命令、データ構造、プログラムモジュールもしくは他のデータを具現し、任意の明確な情報配信媒体を含む。「変調されたデータ信号」なる用語は、その信号内に情報を符号化するようなやり方にてセットもしくは変更される１つまたは複数の特徴を有する信号を意味する。例示として、これに限られるものではないが、通信媒体には、有線媒体、例えば、有線ネットワークもしくは直接配線接続、および無線媒体、例えば、音響、ＲＦ、赤外線媒体および他の無線媒体が含まれる。上述の任意の組合せもコンピュータ可読媒体の範囲内に含まれると解されるべきである。
【００２０】
図１はモバイルデバイス１０の１つの実施例のブロック図である。図示されるように、モバイルデバイス１０は、プロセッサ２０、メモリ２２、入/出力（Ｉ／Ｏ）コンポーネント２４、デスクトップコンピュータ通信インタフェース２６、トランシーバ２７、およびアンテナ１１を含む。１つの実施例においては、モバイルデバイス１０のこれらコンポーネントは、互いに通信するために適当なバス２８を通じて結合される。図２には示されていないが、モバイルデバイス１０は、更に、Ｉ／Ｏコンポーネント２４内に、後に図５との関連で示され、説明されるようにマイクロホンも含む。
【００２１】
メモリ２２は、メモリ２２内に格納された情報がモバイルデバイス１０への一般電力が切られたとき失われることがないように、不揮発性電子メモリ、例えば、バッテリバックアップモジュール（図示なし）を備えたランダムアクセスメモリ（ＲＡＭ）として実装される。メモリ２２の一部はプログラムの実行のためのアドレス可能なメモリとして割り当てられ、他方、メモリ２２の他の部分は格納のために、例えばディスクドライブ上のメモリをシミュレートするために使用される。
【００２２】
メモリ２２は、オペレーティングシステム３０、アプリケーションプログラム１６（例えば、ユーザインタフェースアプリケーション、パーソナルインフォーメーションマネジャ（ＰＩＭ）、スケジューリングプログラム、ワードプロセシングプログラム、表計算プログラム、インターネットブラウザプログラム、および後に説明されるような音声認識プログラム）、ユーザインタフェースコンポーネント１７およびオブジェクトストア１８を含む。動作の際に、オペレーティングシステム３０がメモリ２２からプロセッサ２０内にロードされ、実行される。オペレーティングシステム３０は、１つの実施例においては、本件特許出願人から市販されているＷｉｎｄｏｗｓ（登録商標）  ＣＥなるブランドのオペレーティングシステムである。オペレーティングシステム３０を、モバイルデバイス用に設計し、ＰＩＭ、コンテンツビューア、音声認識機能その他にて利用できる機能を実装することもできる。これは任意の所望のやり方にて、例えば、公表されているアプリケーションプログラミングインタフェースを通じて、または所有インタフェースまたはその他を通じて実現することができる。オブジェクトストア１８内のオブジェクトは、ＰＩＭ、コンテンツビューアおよびオペレーティングシステム３０にて、少なくとも一部はこれらへの呼に応答して、維持することができる。
【００２３】
ユーザインタフェースコンポーネント１７は、例示として、ユーザに出力ディスプレイを提供するために、およびユーザから入力を受信するために、他のコンポーネントとインタラクトする。ユーザインタフェースコンポーネント１７の、ユーザ入力を、音声とキーパット入力の組合せとして受信する動作の１つの実施例が後に図６Ａ−８との関連で説明される。
【００２４】
１つの実施例においては、Ｉ／Ｏコンポーネント２４が、モバイルデバイス１０のユーザからの入力および出力動作を容易にするために提供される。このようなコンポーネントとしては、とりわけ、情報をデバイス１０に入力するため、またはデバイス１０からの情報を出力するためのディスプレイ、タッチ感応スクリーン、キーパッド、マイクロホン、スピーカ、オーディオ発生器、バイブレーションデバイス、ＬＥＤ、ボタン、ローラまたは他のメカニズムが含まれる。これらは単に例示としてリストされたのであり、これらが全て存在する必要はなく、また、他のまたは異なるメカニズムを提供することもできる。更に、他の通信インタフェースおよびメカニズム、例えば、有線および無線モデム、衛星受信機および放送チューナ等をサポートすることもできる。
【００２５】
オプションとして、デスクトップコンピュータ通信インタフェース２６が、任意の適当な市販の通信インタフェースとして提供される。インタフェース２６は、デスクトップまたは他のコンピュータ１２と通信するために、無線トランシーバ２７がこの目的のために使用されていないときに用いられる。インタフェース２６としては、例えば、赤外線トランシーバ、またはシリアルもしくはパラレル接続が含まれる。
【００２６】
トランシーバ２７は、信号または情報を所望の搬送機構を通じて送信するために適合させた無線もしくは他のタイプのトランシーバである。トランシーバ２７が無線トランシーバであるような実施例においては、信号または情報はアンテナ１１を用いて伝送される。トランシーバ２７は、更に、搬送機構を通じて他のデータを送信することもできる。幾つかの実施例においては、トランシーバ２７は、デスクトップコンピュータ、情報源プロバイダから、または他のモバイルもしくは固定デバイスまたは電話から情報を受信する。トランシーバ２７は、プロセッサ２０と通信し、受信された情報を格納するため、および送信すべき情報を送るためにバス２８に結合される。
【００２７】
電源３５は、モバイルデバイス１０に電力を供給するための電池３７を含む。オプションとして、モバイルデバイス１０は、内蔵電池３７より優先される、またはこれを再充電する外部電源４１から電力を受け取ることもできる。外部電源４１には、例えば、モバイルデバイス１０のための適当なＡＣもしくはＤＣアダプタまたは電力格納台が含まれる。
【００２８】
図１は、本発明を実装することができる適当な動作環境の一例を示すものであることに注意されたい。図１に示されるこの動作環境は、単に適当な動作環境の一例であり、本発明の用途または機能の範囲に関するどのような制限を示唆することを意図するものでもない。本発明と共に用いるために適する他の周知のコンピューティングシステム、環境、および/または構成には、これに限られるものではないが、セルラ電話、携帯情報端末、ページャ、携帯もしくはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラム可能民生家電、上述の任意のシステムもしくはデバイスを含む分散コンピューティング環境その他が含まれる。
【００２９】
更に、本発明は、１つまたは複数のコンピュータまたは他のデバイスにて実行される、コンピュータ実行可能命令、例えば、プログラムモジュールの一般的コンテクスト内で説明することもできる。一般に、プログラムモジュールには、特定のタスクを遂行するため、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等が含まれる。プログラムモジュールの機能は、典型的には、様々な実施例において要求されるように結合することも、または分散させることもできる。
【００３０】
図２は本発明に従って用いることができるモバイルデバイス１０の１つの実施例の簡素化された絵図である。この実施例においては、アンテナ１１およびマイクロホン７５に加えて、モバイルデバイス１０は、小型化されたキーボード３２、ディスプレイ３４、スタイラス３６、およびスピーカ８６を含む。図３に示される実施例においては、ディスプレイ３４は液晶ディスプレイ（ＬＣＤ）であり、接触感応ディスプレイ画面をスタイラス３６と共に用いる。スタイラス３６は、ディスプレイ３４を指定される座標の所で押す、またはこれに触れるために用いられ、これによって幾つかのユーザ入力機能が達成される。小型化されたキーボード３２は任意の適当な、所望のファンクションキーを備える小型化された英数キーボードとして実装され、これらも幾つかのユーザ入力機能を達成するために提供される。マイクロホン７５はアンテナ１１の遠位端に位置するように示されているが、しかしこれは同じように簡単にデバイス１０上のどこに配置することもできる。
【００３１】
図３は本発明のもう１つの実施例に従うモバイルデバイス１０のもう１つの簡素化された絵図である。このモバイルデバイス１０は、図３に示されるように、図２との関連で説明されたそれらと類似する幾つかの項目を含み、これらには類似する符号が与えられている。例えば、このモバイルデバイス１０は、図３に示されるように、これもアンテナ１１上に配置されたマイクロホン７５およびデバイスのハウジング上に配置されたスピーカ８６を含む。勿論、マイクロホン７５およびスピーカ８６も同様に他の位置に配置することもできる。更に、このモバイルデバイス１０もタッチセンシティブディスプレイ３４を含み、これはスタイラス３６と共に幾つかのユーザ入力機能を達成するために用いることができる。図２と図３に示されるモバイルデバイスに対するディスプレイ３４は、同一サイズであっても、または異なるサイズであっても良いが、しかし、一般的に、デスクトップコンピュータと共に用いられる従来のディスプレイよりはかなり小さいことに注意すべきである。例えば、図２および３に示されるディスプレイ３４は、たった２４０Ｘ３２０座標、または１６０Ｘ１６０座標、または任意の他の適当なサイズのマトリックスにて定義される。
【００３２】
図３に示されるモバイルデバイス１０は、更に、多数のユーザ入力キーまたはボタン（例えば、スクロールボタン３８および/またはキーボード３２）を含み、ユーザは、これらによって、ディスプレイ３４に触れることなく、データを入力すること、またはディスプレイ３４上に表示されるメニューオプションまたは他のディスプレイオプションを通じてスクロールすることが可能になる。加えて、図３に示されるモバイルデバイス１０は、更に、電源ボタン４０を含み、これはモバイルデバイス１０への一般電力を入れたり、切ったりするために用いられる。
【００３３】
更に、図３に示される実施例においては、モバイルデバイス１０は手書きエリア４２を含むことに注意されたい。手書きエリア４２はスタイラス３６と共にユーザーがメッセージを書き込むために用いられ、これらメッセージはメモリ２２内に後にモバイルデバイス１０にて用いられるために格納される。１つの実施例においては、手書きメッセージは単に手書きの形態にて格納され、ユーザにて後に呼び出され、ディスプレイ３４上に表示され、こうすることで、ユーザはモバイルデバイス１０内に入力された手書きメッセージを後に見ることが可能となる。もう１つの実施例においては、モバイルデバイス１０には文字認識モジュールが提供され、ユーザはモバイルデバイス１０内に英数情報を、これら英数情報をエリア４２上にスタイラス３６にて書き込むことで入力することが可能となる。このケースにおいては、モバイルデバイス１０内の文字認識モジュールがこれら英数文字を認識して、これら文字をコンピュータにて認識可能な英数文字に変換し、これらはモバイルデバイス１０内のアプリケーションプログラム１６にて用いられる。
【００３４】
図４は本発明の１つの実施例に従うモバイルデバイス１０のもう１つの実施例の絵図を示す。モバイルデバイス１０は、ディスプレイエリア３４、電源ボタン５０４、複数の制御ボタン５０６、ひとまとまりの追加の制御ボタン５０８、マイクロホン５０９およびキーパッドエリア５１０を含む。キーバッドエリア５１０は、例示的に、複数の異なる英数ボタン（これらの幾つかが数字５１２にて示されている）と、更に、キーボードボタン５１４を含む。ユーザは、図４に示されるデバイス１０内に英数情報を、スタイラス、指、または他の機構を用いてボタン５１２を押すことで入力することができる。ボタン５１２を通じて英数情報を入力するためには、様々な文字入力技術、例えば、決定論的マルチタップ法、予測技法、などのいずれを用いることもできる。同様にして、１つの実施例においては、もしユーザがより多くのタイピング方法に切り換えることを望むときは、ユーザは単にキーボードボタン５１４を作動させることで済む。この場合には、デバイス１０は、英数ボタン５１２の代わりに、従来のキーボードの縮小された描写を表示する。ユーザは、すると、テキスト情報を、一度に１文字ずつ、表示されたキーボード上のこれら文字を、スタイラス等を用いてタッピングすることで入力することが可能になる。更に、様々な実施例においては、他の代替入力手法、例えば、手書き入力および他のタッチスクリーンもしくは他の入力を用いることもできる。
【００３５】
１つの実施例においては、デバイス１０は、更に、音声認識システム（これについては後に図５との関連でより詳細に説明される）も含み、このためユーザは音声情報をデバイス１０内にマイクロホン５０９を通じて入力することができる。同様にして、デバイス１０は、例示としてインタフェースコンポーネント１７（図１）にて実行されるインタフェースを含み、ユーザは音声およびキーパッド入力を組み合わせて情報をデバイス１０内に入力することができる。このことは、テキスト入力の効率およびロバスト性を、とりわけ従来のキーボードを有さないモバイルデバイス上においては向上させる。これについては後に図６Ａから８との関連でより詳細に説明される。
【００３６】
図５は１つの実施形態に従う、上で図２から４で示された任意のモバイルデバイス上で用いることができる音声認識システム２００の１つの例示的実施形態のブロック図である。
【００３７】
図５において、スピーカ２０１（トレーナまたはユーザ）は、マイクロホン１７に向かって話し込む。マイクロホン１７によって検出された音声信号は電気信号に変換され、これらがアナログ／デジタル（Ａ／Ｄ）変換器２０６に提供される。
【００３８】
Ａ／Ｄ変換器２０６はマイクロホン１７からのアナログ信号を一連のデジタル値に変換する。幾つかの実施形態においては、Ａ／Ｄ変換器２０６は、アナログ信号を１６ｋＨｚ、サンプル当り１６ビットにてサンプリングし、こうして秒当たり３２キロバイトの音声データが生成される。これらデジタル値はフレームコンストラクタ２０７に提供されるが、コンストラクタは、１つの実施形態においては、これら値を１０ミリ秒間隔にて始まる２５ミリ秒フレームにグループ化する。
【００３９】
フレームコンストラクタ２０７にて生成されたデータのフレームは、特徴抽出器部２０８に提供され、特徴抽出器部２０８は各フレームから特徴を抽出する。特徴抽出モジュールの例としては、線形予測符号化（ＬＰＣ）、ＬＰＣ導出ケプストラム、 知覚線形予測符号化（ＰＬＰ）、聴覚モデル特徴抽出、およびメル周波数ケプストラム係数（ＭＦＣＣ）特徴抽出を遂行するためのモジュールが含まれる。本発明は、これら特徴抽出モジュールに制限されるものではなく、他のモジュールも本発明の背景内で用いることができることに注意すべきである。
【００４０】
特徴抽出モジュールは、各々が音声信号のフレームと関連する特徴ベクトルのストリームを生成する。
【００４１】
更に、雑音の低減を用いることで、抽出部２０８からの出力が一連の「クリーン」な特徴ベクトルとなるようにすることもできる。もし入力信号がトレーニング信号であるときは、この一連の「クリーン」な特徴ベクトルはトレーナ２２４に提供され、トレーナはこれら「クリーン」な特徴ベクトルとトレーニングテキスト２２６を用いて、後に詳細に説明される音響モデル２１８または他のモデルを訓練する。
【００４２】
もし入力信号がテスト信号であるときは、この「クリーン」な特徴ベクトルはデコーダ２１２に提供され、デコーダは、もっともそれらしい一連のワードを、これら特徴ベクトルのストリーム、レキシコン２１４、言語モデル２１６、および音響モデル２１８に基づいて識別する。復号のために用いられる特定の方法は、本発明にとって重要ではなく、復号のための幾つかの周知の方法のいずれかを用いることもできる。
【００４３】
最も可能性の高い一連の仮説ワードが音声認識ラチスとして信頼尺度モジュール２２０に提供される。信頼尺度モジュール２２０は、どのワードが音声認識器によって誤って識別された可能性が最も高いかを、二次的音響モデル（図示なし）に部分的に基づいて識別する。信頼尺度モジュール２２０は、次に、このラチス内の一連の仮説ワードを出力モジュール２２２に、どのワードが誤って識別されたらしいかを示す識別子と共に提供する。当業者においては理解できるように、信頼尺度モジュール２２０は本発明の実施に必須ではない。
【００４４】
図６は、デバイス１０が本発明の１つの実施形態に従うインタフェースを実装するように構成されるユーザインタフェースシステム５５０のブロック図である。図６Ａは、モバイルデバイス１０およびこのインタフェースの、１つの実施形態に従う、動作を示す流れ図であり、以下では図６および６Ａは互いに関連して説明される。このインタフェースは、上で図２から４との関連で説明されたモバイルデバイスのいずれの上で展開することもできるが、ここでの説明は、単に例示の目的として、図４に示されるデバイス１０との関連で進められる。
【００４５】
本発明の１つの実施形態に従うと、このインタフェースによって、ユーザは、音声入力５５２および代替手法による入力５５４の両方を、情報をデバイス１０に入力するために、組み合わることができる。これら代替手法による入力は、上述の手段（ソフトキーボード、タッチスクリーン入力、手書き認識等）のいずれかを用いての入力であり得る。しかし、この代替手法による入力は、ここでは、単に例示としてキーパッド入力５５４に関して説明される。従って、１つの実施形態によると、ユーザ５５６は最初にデバイス１０上の音声認識システム２００を、例えば、ファンクションボタンを押し下げることで、またはユーザインタフェース上の任意の他の要求されるボタンを作動させることで起動し、結果として起動入力５５８を提供する。これが図６Ａにおいてブロック６００にて示されている。次に、ユーザは複数ワード音声入力５５２（例えば、フレーズまたはセンテンス）をデバイス１０上のマイクロホン７５内に話し込み、そしてデバイス１０内の音声認識システム２００がこの複数ワード音声入力５５２を受信する。これが図５Ａにおいてブロック６０２にて示されている。音声認識システム２００は音声認識結果を仮説ラチス５６０の形態にて生成し、ラチス５６０をユーザインタフェースコンポーネント１７に提供する。次に、ユーザインタフェースコンポーネント１７は、これら音声認識結果を（ユーザインタフェースディスプレイ３４の所に）、一度に１ワードずつ、ユーザがキーパッド５１０を用いて確認または訂正できるように逐次的に表示する。これが図５Ａにおいて、ブロック６０４にて示されている。ユーザは、例示として、キーパッド５１０のキーを用いて、各々のワードをこれらが順番に表示されたとき訂正するか、または、そのワードは正しいものと確認する。この逐次的確定（ｓｅｑｕｅｎｔｉａｌ  ｃｏｍｍｉｔｍｅｎｔ）が次々と継続され、訂正または確認されたワードが次々と表示され、逐次的に次のワードがディスプレイに訂正または確認のために加えられる。これが、音声認識結果全体が表示されるまで続けられる。
【００４６】
一見したところでは、連続音声認識とワード毎の補正機構（ここではしばしば逐次的確定機構と呼ばれる）との組み合わせは最適ではないように見え、確かに直観に反する。しかし、モバイルデバイス上の現在の自動音声認識システムの状況を考えると、これは全体としてのユーザの操作性の向上に寄与すると信じられる。
【００４７】
例えば、自動音声認識エラーは、しばしば、切り出し（ｓｅｇｍｅｎｔａｔｉｏｎ）誤りを伴う。背景のセクションにおいて述べられたように、「ｒｅｃｏｇｎｉｚｅｄ  ｓｐｅｅｃｈ」なる仮想フレーズは、自動音声認識システムにて、「ｗｒｅｃｋ  ａ  ｎｉｃｅ  ｂｅａｃｈ」と誤って認識されるかも知れない。このケースにおいては、自動音声認識結果全体を示すやり方だと、訂正インタフェースに対する選択肢が困難なものとなる。これを引き起こす幾つかの疑問として、ユーザがどのワードを訂正のために選択すべきか？；ユーザが「ｗｒｅｃｋ」なるワードの訂正を試みたとき、この結果として、音声認識結果内のフレーズの残りの部分も変化されるべきか？；ユーザがある異なるワードに訂正を加えたことの副作用として、他のワードが変化し始めたとき、それがユーザの信頼レベルにどのような影響を与えるか？；などの疑問が発生する。
【００４８】
これらの全ての疑問はインタフェースの設計において解決されなければならず、これら疑問の全てに対する最適な解決を得ることは非常に困難である。同様にして、これら疑問の各々に応えて、これらを解決するためにユーザにユーザインタフェースオプションが提供される場合、通常は、このやり方では、ユーザに誤って認識されたセンテンスまたはフレーズを訂正するために比較的多数のキーストロークが要求されることとなる。
【００４９】
これとは対照的に、結果をユーザによる確認または訂正のために、ワード毎に、左から右へと順次的に提示することで、これら問題の実質的に全てを回避することができる。「ｗｒｅｃｋ  ａ  ｎｉｃｅ  ｂｅａｃｈ」なる仮説的な誤認においては、本発明によると、最初に、デバイス１０のディスプレイ部分３４上に「ｗｒｅｃｋ」なるワードのみがユーザによる確認または訂正のために提示される。本発明のシステムでは、この「ｗｒｅｃｋ」なるワードと共に、例示として代替も表示される。従って、この認識結果は、この「ｗｒｅｃｋ」なるワードに対する第２の代替として、「ｒｅｃｏｇｎｉｚｅ」を含む可能性が高い。いったんユーザが「ｗｒｅｃｋ」を「ｒｅｃｏｇｎｉｚｅ」に訂正すると、本発明のシステムは、例示として、様々な音声認識仮説と関連する確率を再計算し、次に、「ｓｐｅｅｃｈ」なる次のワードを最も高い仮説として、ユーザによって行われた前の訂正（「ｗｒｅｃｋ」から「ｒｅｃｏｇｎｉｚｅ」）時のコンテクストが与えられたときの「ａ」の代わりに出力する。
【００５０】
１つの例示的実施形態においては、図４に示されるように、ディスプレイ部分３４は、音声認識結果をドロップダウンメニュー５０３と共に表示し、このメニューは現在確認または訂正されているワードに対する様々な代替を表示する。ユーザは、音声認識結果内に表示されたワードが正しいときは、単に「ＯＫ」ボタンを作動し、または、ユーザはドロップダウンメニュー５０３内に示される様々な代替を通じて下方へとスクロールし、表示されたワードに対する正しい代替を選択することもできる。説明の実施形態においては、この「ＯＫ」ボタンは、機能ボタン集合５０８内に存在することも、またはこれはキーパッド５１０上に存在することも、またはこれはボタン５０６の１つであることもある。勿論、他の実施形態を用いることもできる。
【００５１】
より詳細には、デバイス１０と共に用いられる図４に示される例においては、ユーザは、「ｔｈｉｓ  ｉｓ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ」なる音声入力５５２を入力する。システムは、すると、ユーザに「ｔｈｉｓ」なる第1のワードを表示し、これがユーザによって確認される。図４に示される状態においては、システムは、ユーザに対して認識仮説内の第2のワードを表示し、ユーザはドロップダウンメニュー５０３内の代替リストから「ｉｓ」を選択している。システムは、次に、様々な認識仮説と関連する確率を再計算し、仮説内に第３のワードとして表示されるべき最もそれらしいワードを見つけるが、これは、図４にはまだ示されていない。
【００５２】
１つの例示的実施形態においては、代替ドロップダウンメニュー５０３はフローティングリストボックスであり、仮説音声認識結果内の現在の挿入ポイント下に現れ、現在選択されている予測が認識結果に沿って表示される。ディスプレイは指定されたプレフィックスをハイライトするようにフォーマット化される。加えて、１つの例示的実施形態においては、ボックス５０３内のリストの高さは任意の所望の数にセットすることができ、概ね４つの可視項目のリストであれば、この予測リストによって導入される妨害の量を制限すると信じられる。同様に、ドロップダウンメニュー５０３の幅もリスト内の最長のワードに合わせて調節することができる。更に、認識結果内の挿入ポイントがドキュメントウインドウの境界と近過ぎ、ドロップダウンメニュー５０３内のリストボックスが境界を越えて延びるときは、認識結果内の挿入ポイントおよびドロップダウンメニュー５０３内の予測リストは、次のラインに回り込むことができる。
【００５３】
ユーザの確認または訂正を、キーパッド５１０を通じてのキーパッド入力５５４として受信するところが図６Ａにおいてブロック６０６として示されている。勿論、ユーザはキーパッド入力５５４を、単に代替ドロップダウンメニュー５０３から代替を選択するのではなく、様々な異なるやり方にて提供することもできることに注意する。
【００５４】
音声認識が完全なときは、ユーザは各々の正しく認識されたワードに対して単に「ＯＫ」を押すことのみを必要とされ、このため非常に効率的なテクスト入力が達成される。しかし、音声認識が不完全なときは、ユーザは正しく認識されたワードに対しては「ＯＫ」を押し、その後、誤って認識されたワードに対して、所望の代替に至るまでスクロールダウンし、代替メニュー５０３からその代替を選択するか、または、正しいワードを一度に一字ずつ、所望のワードがドロップダウンメニュー５０３内の予測リスト内に現れるまで綴り始めることができる。
【００５５】
最初に上述の様々なユーザ入力に基づいてユーザに表示される示唆されるワードおよび代替は、例示として、音声入力５５２に応答して音声認識システム２００から生成された仮説ラチス５６０から取られる。しかし、音声認識システム２００が音声入力をあまりにもひどく誤って認識し、このため表示されるべき正しいワードが仮説ラチス５６０内に現れることさえないこともあり得る。ラチス５６０内に現れないワードを扱うためには、仮説ラチス５６０からの予測が言語モデル（例えば、ｎ-グラム言語モデル）からの予測と併合され、確率に応じてソートされる。こうすることで、音声認識システム２００の語彙内のワードであれば、これらが認識結果に対する仮説ラチス５６０内に現れないときでも、しばしば、そのワード全体を綴ることなく、そして、幾つかのケースにおいては、一字もタイプすることなく、入力することが可能となる。このことは、元の認識ラチス５６０内に見つけることができないワードを入力するために要求されるキーストロークを大幅に低減させる。
【００５６】
更に、ユーザによって入力されたワードが認識ラチス５６０内に現れないばかりか、音声認識システム２００のレキシコンまたは語彙内にも出現しないこともある。この場合は、ユーザインタフェースコンポーネント１７は、１つの実施形態においては、ユーザが語彙外のワードを、キーパッド５１０を通じて綴ることを可能にする決定論的な文字毎の入力構成へと切り換えるように構成される。このような文字毎の構成には、例えば、マルチタップ入力構成またはキーボード入力構成が含まれる。
【００５７】
キーボード構成に対しては、図４に示されるデバイス１０は、ソフトキーボードキー５１４を含む。このキーがユーザによって作動されると、キーボードのディスプレイが示され、ユーザは、音声認識システム２００の元の語彙内に存在しないワードを、単に、スタイラスを使用して、「自己流のタイピング方法」を用いて入力することができる。これらワードはその後必要に応じて語彙に追加することもできる。
【００５８】
同様にして、キーボードボタン５１４を絶えず表示しておくのではなく、ドロップダウンメニュー５０３内の代替ディスプレイの端に（またはドロップダウンメニュー５０３内の任意の他の位置に）に、キーボードオプションを提供することもできる。ユーザがこのオプションを代替リストから作動させると、この場合もキーボードが表示され、ユーザは文字を、一度に１つずつ、入力することが可能になる。いったん語彙外のワードが確定されると、キーボードは視覚的に消え去り、デバイス１０内のユーザインタフェースコンポーネント１７は、（一度に１ワードをユーザによる確認または訂正のために表示する）上述の前の動作モードへとシフトバックする。
【００５９】
音声認識の待ち時間も、モバイルデバイス上の問題となり得る。しかし、本システムは、（これは、音声認識結果をユーザに確認または訂正のために、一度に１ワードずつ、センテンスの左から開始して、右へと進むやり方で提供するという意味において）逐次的確定システムであるために、本システムは、不完全な仮説ラチスから生成される中間的自動音声認識仮説を利用することができる。換言すれば、本システムは、ユーザに対して、ワード仮説の提示を、一度に１ワードずつ、自動音声認識システム２００がその音声認識結果に対する仮説ラチス５６０全体の処理を完全に終える前に、開始することができる。こうして、本システムは、ユーザに対して、音声認識結果内の第１の仮説ワードを、初期タイムアウト期間（例えば５００ミリ秒、または任意の他の所望のタイムアウト期間）の後に、しかし、音声認識システム２００がユーザにて入力されたテクストフラグメントまたはセンテンス全体に対する仮説を生成する前に表示することができる。このためユーザは、音声認識結果の訂正または確認を、現在のモバイルデバイスは比較的限られた計算資源しか有さないにもかかわらず、非常に短い待ち時間にて開始することが可能になる。
【００６０】
図６Ｂはいかにしてシステムが音声認識の待ち時間を低減するかをより良く示す流れ図である。最初に、ユーザは、複数ワード音声入力５５２全体をモバイルデバイス１０内に話し込む。これは図６Ｂにおいてブロック６５０にて示されている。デコーダは次に仮説ラチス５６０の計算を開始する。これはブロック６５２にて示されている。
【００６１】
デコーダは次にラチス計算が完了したか否かを判断する。これはブロック６５４にて示されている。もし完了していないときは、所定のタイムアウト期間が経過したか否かが判断される。これがブロック６５６にて示されている。換言すれば、仮説ラチス全体がまだ計算されていないときでも、本システムは、あらかじめ指定されたタイムアウト期間の後に中間ラチス５６０を出力する。従って、もし、ブロック６５６において、タイムアウト期間が経過しているときは、予備的仮説ラチス５６０がシステムにて出力され、インタフェースコンポーネント１７は、ユーザに対して音声認識結果内に（予備的仮説ラチス５６０からの）第１の仮説ワードを表示する。これが図６Ｂにおいて、ブロック６５８にて示されている。
【００６２】
この時間中も、デコーダは、ブロック６５２において、仮説ラチス全体の計算を継続する。しかし、インタフェースコンポーネント１７は、仮説ラチス全体が完了するまで、予備的仮説ラチスを用いて、ユーザの確認または訂正のために、ワードを視覚的に表示し続ける。いったん仮説ラチス５６０全体が完了すると、完了したラチスがユーザに対して、インタフェースコンポーネント１７にてユーザに確認または訂正のためにワードを逐次的に（一度に１ワードずつ）提示することで、出力される。これが図６Ｂにおいてブロック６６０にて示されている。
【００６３】
１つの代替実施形態においては、デコーダが仮説ラチスを計算しているとき、およびこれが予備的ラチスを計算した後に、デコーダに、デコーダが仮説ラチスの処理をそれらユーザ確認または訂正情報を考慮に入れて完結できるように、音声認識結果に対する任意のユーザ確認または訂正がフィードバックされる。これがブロック６５５にて示されている。確定されたワードシーケンスを認識器２００に提供することにより、認識器は、この情報を用いることで探索空間を狭めることが可能になる。事実、この情報を用いることで、認識器２００は、確定されたワードシーケンスと一貫性のない全ての探索パスを取り除くことができ、結果として探索プロセスの速度が著しく向上される。勿論、探索パスを取り除くことは、探索の速度を向上させるばかりでなく、エンジンが、既に確定されたワードシーケンスと一貫する、この方法によらなければ取り除かれてしまうかもしれないパスを探索することを可能にし、精度も向上させる。
【００６４】
このことの理解を図るためにこの時点で１例について説明する。ユーザ５５６がデバイス１０上の音声認識システム２００を起動したものと想定する。更にユーザ５５６がデバイス１０内にマイクロホン７５を通じて「ｔｈｉｓ  ｉｓ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ」なる複数ワード音声入力５５２を入力したものと想定する。すると、デバイス１０内の自動音声認識システム２００は、この音声入力の処理を開始し、仮説音声認識結果および代替を示す仮説ラチス５６０の生成を開始する。しかし、自動音声認識システム２００にてこの仮説ラチス全体が計算される前に、例示として予備的ラチス５６０が計算される。図６Ｄは、この例示的音声入力から生成された１つの例示的な部分的（または予備的）仮説ラチスを示す。この仮説ラチスが図６Ｄにおいて全体として数字６６２にて示されている。１つの実施形態によると、ラチス６６２はユーザインタフェースコンポーネント１７に提供され、こうしてユーザインタフェースコンポーネント１７は仮説音声認識結果からのワードをユーザ５５６に、確認または訂正のために、1度に１ワードずつ、提示し始めることが可能となる。
【００６５】
ラチス６６２から見たとき、この「ｔｈｉｓ」なるワードは、このラチス内の最良の仮想ワードを表す最初のワードであるものと想定する。この「ｔｈｉｓ」なるワードが、従って、ユーザに、確認または訂正のために提出されることとなる。図６Eは、デバイス１０のディスプレイ３４の一部分を示し、ここでは、この「ｔｈｉｓ」なるワードがユーザに提示されており、これと共に、仮想ラチス６６２からの代替がトップダウンメニュー５０３内に確率スコア順に提出されている共に提出される。そして、メニュー５０３内にリストされているこれら代替は「Ｍｉｓｓ」と「Ｍｒｓ．」である。ラチス６６２から、これらは、このラチスからの「ｔｈｉｓ」に対する他の可能な代替であることがわかる。ユーザは、次に、この表示された「ｔｈｉｓ」なる結果を単に「ＯＫ」ボタンを作動させることで受理するか、またはユーザは上述のようにこれら代替の１つを選択することもできる。
【００６６】
ユーザが表示された音声認識結果を確認するかまたは訂正するかの選択を行っている時間中に、デコーダは音声認識ラチスの計算を完結させるために音声入力の処理を継続する。これにはたった幾秒しかかからない。従って、ユーザが１または２ワードの仮説ワードの訂正または確認を終える前に、デコーダが仮説ラチス全体の計算を完全に終えてしまう可能性が高い。
【００６７】
図６Eは「ｔｈｉｓ  ｉｓ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ」なる例示的音声入力に対してデコーダによって計算された仮想ラチス６６４全体を示す。ユーザは「ｔｈｉｓ」を音声認識結果内の第１のワードとして選択したため、他の２つの代替「Ｍｒｓ．」および「Ｍｉｓｓ」はラチス６６４上から抹消され、これらはもはや音声認識結果内の追加のワードを仮説する際には考慮されないことが示されている。事実、ユーザは「ｔｈｉｓ」なるワードを確認したため、デコーダは「this」が認識結果内の正しい第１のワードであったことを確実に知る。デコーダは、次に、ラチス６６４内の他の全てのワードに対する確率を再計算し、ユーザインタフェースコンポーネント１７は、この再計算に基づいて、最良スコアのワードをユーザに認識結果内の次の仮説ワードとして提示する。
【００６８】
図６Ｆは、インタフェースが現在、「ｉｓ」なるワードを、この音声認識結果内の「ｔｈｉｓ」に続く最良スコアの仮説ワードであるものとして、ユーザに対して表示していることを示す。図６Ｆは、ドロップダウンメニュー５０３は、この「ｉｓ」なるワードに対する複数の代替をスクロールバーと一緒に表示していることも示すが、このスクロールバーは、もしユーザが、音声認識結果を代替ワードの１つを選択することで訂正することを選んだときに、これら様々な代替の間をスクロールするために用いられる。
【００６９】
更に、図６Ｆに示される実施形態においては、ドロップダウンメニュー５０３は「キーボード」オプションも含み、これを作動させることで、ユーザはキーボードを表示させ、スタイラスまたは他の適当な入力機構を用いて、ワードを、一度に一字ずつ、入力することもできることに注意されたい。
【００７０】
図７は、図６に示されるシステムが、本発明の１つの実施形態に従って、予備的ラチス６６２および完了ラチス６６４を用いて動作するところをより良く示す流れ図である。図６Ｂとの関連で上述されたように、ユーザインタフェースコンポーネント１７は、最初に、予備的仮説ラチス（例えば、図６Ｄに示されるラチス６６２）を受信する。これが図６においてブロック６８０として示されている。
【００７１】
ユーザインタフェースコンポーネント１７は、次に、音声認識結果内の現在のワードに対する最良のワード仮説を出力する。例えば、もしこれがユーザに対して訂正または確認のために表示されるべき最初のワードであるときは、ユーザインタフェースコンポーネント１７は音声認識結果内の第１のワード位置に対する予備的仮想ラチスから最良スコアのワードを選択し、これをユーザに表示する。これが図６においてブロック６８２にて示されており、この一例が図６Ｅに示されている。
【００７２】
ユーザインタフェースコンポーネント１７は、次に、現在表示されているワードに対するユーザ訂正または確認入力５５４を受信する。これが図６においてブロック６８４として示されている。ここでも、これは、ユーザが代替リストから代替を選択することにより、ユーザが仮説ラチス内には存在しないが、自動音声認識システム２００にて使用されている辞書または語彙内には存在するワードのタイピングを開始することにより、またはユーザが自動音声認識システム２００の語彙またはレキシコン内にそれまで存在していなかった新たなワードを入力することにより、行われる。
（ユーザが、仮説ラチス内には存在しないが自動音声認識システム２００にて使用されている辞書または語彙内には存在するワードのタイピングを開始する）第２のケースにおいては、プレフィックスフィードバックを用いることができることに注意されたい。これが図８により良く示されている。例えば、考慮下の音声認識結果に対する正しいワードは「ｄｅｍｏｎｓｔｒａｔｅｓ」であるものと想定する。更に、「ｄｅｍｏｎｓｔｒａｔｅｓ」なるワードは、音声入力５５２に基づいて自動音声認識システム２００にて生成された仮説ラチス内には現れなかったものと想定する。しかし、「ｄｅｍｏｎｓｔｒａｔｅｓ」なるワードは、自動音声認識システム２００にて使用されているレキシコン内には存在するものと想定する。この場合には、ユーザは、このワードを（例えば、キーボードオプションまたはマルチタップ入力オプションを選択することで）一度に一字ずつタイピングすることを開始する。ユーザが各々の文字を入力するにつれて、自動音声認識システム２００は、既に入力されたプレフィックス文字に基づいて予測ワード完結を行う。１つの例示的形態においては、システムは、更に、ユーザによって入力された文字を、ユーザがどの文字が既に入力されたかを簡単に判断することができるようにハイライトする。図８においては、ユーザは、既に「ｄｅｍｏｎ」なる文字の入力を終えており、「ｄｅｍｏｎｓｔｒａｔｅｓ」なるワードが予測されていることがわかる。
【００７３】
この（ワードを一度に一字ずつ入力する）オプションは、そのワードが既に仮想ラチス内に現れているときでも使用できることに注意されたい。換言すれば、ユーザは、正しい代替を見付けるためにドロップダウンメニュー５０３内の代替リストを通じてスクローリングする代わりに、入力構成を入力し、これを用いて、ワードを一度に一字ずつ入力することもできる。ユーザにて入力された各々の文字に基づいて、システム２００は様々なワードの確率を再計算し、プレフィックスが与えられたときの最も確率の高いワードという基準に基づいて表示される代替を再ランキングする。
【００７４】
１つの実施形態においては、ワードを再ランキングするためには、この再ランキングは、ユーザによって既に入力されたプレフィックス文字に基づくのみでなく、音声認識仮説内のこのワード位置内に現れているワード、並びに、ユーザにて既に確認または訂正された前のワード、更には、例えばユーザにて認識された前のワードのコンテクストやユーザにて入力されたプレフィックス文字に依存する追加のランキングコンポーネント、例えば、コンテクスト依存型コンポーネント（例えば、ｎ−グラム言語モデル）に基づいても遂行される。
【００７５】
いずれのケースにおいても、ユーザによる訂正または確認入力５５４の受信が図７においてブロック６８４にて示されている。ユーザインタフェースコンポーネント１７は、ワードを、図６のブロック６８６にて示されるように、ユーザ入力に基づいて訂正または確認する。
【００７６】
もし、今、確認または訂正されたばかりのワードが、音声認識結果内の最初の少数のワードの１つであるときでも、ユーザインタフェースコンポーネント１７は、図６Bとの関連で上述されたように、仮説ワードをユーザに対して予備的ラチスに基づいて提出しているのかも知れない。このため、完全なラチスが受信されたのか否かが判断される。これが図６のブロック６８８にて示される。もし、完全なラチスが受信されているときは、ブロック６９０にて示されるように、その完全なラチスが全ての更なる処理に対して用いられる。もし完全なラチスがまだ受信されていないときは、再び、予備的ラチスが音声認識結果内の次のワードを処理するために用いられる。
【００７７】
いったん処理されている現在のワードがユーザにて確認または訂正されると、ユーザインタフェースコンポーネント１７は、仮説音声認識結果内に更なるワードが存在しないか判断する。これが図７においてブロック６９２にて示されている。
【００７８】
もし更なるワードが存在するときは、自動音声認識デコーダは音声認識結果内において次のワードとして提示される可能性のあるワードの各々に対してスコアを再計算する。ここでも、次のワードに対するスコアのこの再計算は、ユーザにて既に確認または訂正されたワードに基づくことも、仮説ラチス内に見つけられるワードに基づくことも、言語モデルスコアに基づくことも、または他の所望のモデリングスコアに基づくこともできる。
【００７９】
このラチスから候補ワードを生成するためには、最初に、どのようなセットの候補ワードが、初期ラチスノードから、この結果に対応する確認された一連のワードを通じて到達可能であるかが決定される。これら候補ノードからの、このラチス内の出アークと関連するこの一連のワードにて、このラチスにて予測される候補ワードが形成される。例えば、図６Ｆ内に示されるラチスにおいては、「ｔｈｉｓ  ｉｓ」なるワードがユーザにて確認または訂正されたものと想定すると、この音声認識結果内の既に確認されたワードが与えられたときの可能な代替は、「ｓｐｅｅｃｈ」、「ｂｅａｃｈ」および「ｂｅｅ」である。
【００８０】
各候補ワードの確率を決定するために、各候補ノードの前方確率が、ダイナミックプログラミングを用いてマッチするパスの確率を結合することで計算される。各候補ワードの遷移に対して、全体としての遷移確率が、事後前方確率、ローカル遷移確率およびバックワードスコアから計算される。各候補ワードの最終的な確率は、対応する候補ワード遷移からの確率を結合することで決定される。１つの実施例においては、確率の結合は、これら確率を加えることで厳密に計算されるか、または最大を取ることでビタビスタイルにて推定される。計算を低減するためには、候補ノードおよび対応する確率は、ユーザが各ワードを確定するに従って、増分的に計算される。勿論、これは、音声認識結果内の次のワードと関連するスコアを計算するための唯一のやり方ではないことに注意されたい。この情報に基づくスコアの再計算が図７のブロック６９６にて示される。
【００８１】
もし、ブロック６９２において、処理されるべきそれ以上のワードが存在しないときは、音声認識結果は完結し、処理は終了する。
【００８２】
モバイルデバイス上でのテキスト入力のために、キーパッドおよび音声入力を組み合わせることで、ワードが誤って認識された場合、この逐次的確定なる理論的枠組みは、従来のランダムアクセスによる訂正よりも性能が優れていることがわかる。これによると、より少ないキーストロークおよび吹き込みだけで、システムは、異なるセグメンテーションでのワードの代替を示すことができ、同時に、結果を非常に率直なやり方にて提示することができる。こうして、認識ラチスにて正しい認識が提示されたときは、ユーザは、誤ったワードセグメンテーションに起因する複数ワードフレーズの訂正を要求されることもなく、この結果として、更に少ないキーストロークで済む。この方法によると、加えて、複数のワードが訂正のために選択されたときの代替の組み合わせの爆発的な激増の問題も回避できる。
【００８３】
更に、先に確定されたワードに関する知識を利用することで、システムは、仮説を、それらの事後確率に従って、言語モデルおよび確定されたワードとの音響的整合性に基づいて再ランキングすることが可能となる。こうすることで、知覚される精度は、発声の残りの部分に対する仮説が、訂正の後に変更されることのない従来のシステムよりも高くなる。訂正および確定されるべき次のワードのみを表示することで、この逐次的確定システムは、知覚される精度を向上させ、キーストロークを低減させる。
【００８４】
同様にして、逐次的確定は、一度に１ワード入力する方式のインタフェースに基づき、これは現存のテキスト入力方法を用いるユーザには慣れたやり方である。音声入力が適当でないような状況においては、ユーザは、単に、所望の音声を発話する最初のステップを飛ばし、キーパッドのみを用いて、テキストを入力することを開始することもできる。こうして、このシステムは非常にフレキシブルである。
【００８５】
主題事項が構造上の特徴および/または方法論上の動作に特定な用語との関連で説明されてきたが、添付のクレームに記載されている主題事項は必ずしも上述の特定の特徴または動作に制限されるものではなく、むしろ、上述の特定の特徴および動作はこれらクレームを実現する実施例として開示されたに過ぎない。
【図面の簡単な説明】
【００８６】
【図１】本発明を用いることができる１つの例示的コンピューティング環境のブロック図である。
【図２】本発明をその上で展開することができるデバイスの複数の異なる例示的実施形態を簡略化された絵図にて示す図である。
【図３】本発明をその上で展開することができるデバイスの複数の異なる例示的実施形態を簡略化された絵図にて示す図である。
【図４】本発明をその上で展開することができるデバイスの複数の異なる例示的実施形態を簡略化された絵図にて示す図である。
【図５】音声認識システムの１つの例示的実施形態を示す図である。
【図６】１つの実施形態に従う、ユーザインタフェースシステムを実装するように構成されたデバイスのブロック図である。
【図６Ａ】図１から６に示されるシステムの全体としての動作の１つの実施形態を示す流れ図である。
【図６Ｂ】システムの音声認識仮説ラチスの生成における動作の１つの実施形態を示す流れ図である。
【図６Ｃ】１つの例示的予備的仮説ラチスを示す図である。
【図６Ｄ】ワードを選択するための例示的ユーザインタフェースディスプレイを示す図である。
【図６Ｅ】仮説内のワードのユーザによる訂正が与えられた後の修正された仮説ラチスを示す図である。
【図６Ｆ】音声認識仮説内のワードを選択するための１つの例示的ユーザインタフェースディスプレイを示す図である。
【図７】仮説の再計算を示す１つの例示的な流れ図である。
【図８】予測的ワード完結を示す１つの例示的ユーザインタフェースディスプレイを示す図である。
【図１】
2009514020.tif 000003
【図２】
2009514020.tif 000004
【図３】
2009514020.tif 000005
【図４】
2009514020.tif 000006
【図５】
2009514020.tif 000007
【図６】
2009514020.tif 000008
【図６Ａ】
2009514020.tif 000009
【図６Ｂ】
2009514020.tif 000010
【図６Ｃ】
2009514020.tif 000011
【図６Ｄ】
2009514020.tif 000012
【図６Ｅ】
2009514020.tif 000013
【図６Ｆ】
2009514020.tif 000014
【図７】
2009514020.tif 000015
【図８】
2009514020.tif 000016
【国際調査報告】
2009514020.tif 000017
2009514020.tif 000018